17篇注意力機(jī)制PyTorch實(shí)現(xiàn)，包含MLP、Re-Parameter系列熱門(mén)論文
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)
PyTorch實(shí)現(xiàn)各種注意力機(jī)制。
Pytorch 實(shí)現(xiàn)論文「Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks---arXiv 2020.05.05」
Pytorch 實(shí)現(xiàn)論文「Attention Is All You Need---NIPS2017」
Pytorch 實(shí)現(xiàn)論文「Simplified Self Attention Usage」
Pytorch 實(shí)現(xiàn)論文 「Squeeze-and-Excitation Networks---CVPR2018」
Pytorch 實(shí)現(xiàn)論文「Selective Kernel Networks---CVPR2019」
Pytorch 實(shí)現(xiàn)論文「CBAM: Convolutional Block Attention Module---ECCV2018」
Pytorch 實(shí)現(xiàn)論文「BAM: Bottleneck Attention Module---BMCV2018」
Pytorch 實(shí)現(xiàn)論文「ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks---CVPR2020」
Pytorch 實(shí)現(xiàn)論文「Dual Attention Network for Scene Segmentation---CVPR2019」
Pytorch 實(shí)現(xiàn)論文「EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network---arXiv 2020.05.30」
Pytorch 實(shí)現(xiàn)論文 「ResT: An Efficient Transformer for Visual Recognition---arXiv 2020.05.28」
Pytorch 實(shí)現(xiàn)論文「RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition---arXiv 2020.05.05」
Pytorch 實(shí)現(xiàn)論文「MLP-Mixer: An all-MLP Architecture for Vision---arXiv 2020.05.17」
Pytorch 實(shí)現(xiàn)論文「ResMLP: Feedforward networks for image classification with data-efficient training---arXiv 2020.05.07」
Pytorch 實(shí)現(xiàn)論文「Pay Attention to MLPs---arXiv 2020.05.17」
Pytorch 實(shí)現(xiàn)論文「RepVGG: Making VGG-style ConvNets Great Again---CVPR2021」
Pytorch 實(shí)現(xiàn)論文「ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks---ICCV2019」
from attention.ExternalAttention *import* ExternalAttentionimport torchinput=torch.randn(50,49,512)ea = ExternalAttention(d_model=512,S=8)output=ea(input)print(output.shape)
努力分享優(yōu)質(zhì)的計(jì)算機(jī)視覺(jué)相關(guān)內(nèi)容，歡迎關(guān)注：
個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點(diǎn)亮 
，告訴大家你也在看