午夜男人天堂,非洲一级片,伊人老司机,揉奶头,欧美大逼网,www色午夜,欧美淫色图,激情久久五月

PyTorch實現(xiàn)各種注意力機制。

注意力（Attention）機制最早在計算機視覺中應用，后來又在 NLP 領域發(fā)揚光大，該機制將有限的注意力集中在重點信息上，從而節(jié)省資源，快速獲得最有效的信息。

2014 年，Google DeepMind 發(fā)表《Recurrent Models of Visual Attention》，使注意力機制流行起來；2015 年，Bahdanau 等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》中，將注意力機制首次應用在 NLP 領域；2017 年，Google 機器翻譯團隊發(fā)表的《Attention is All You Need》中，完全拋棄了 RNN 和 CNN 等網(wǎng)絡結構，而僅僅采用注意力機制來進行機器翻譯任務，并且取得了很好的效果，注意力機制也因此成了研究熱點。

經(jīng)過幾年的發(fā)展，領域內產生了眾多的注意力機制論文研究，這些工作在 CV、NLP 領域取得了較好的效果。近日，在 GitHub 上，有研究者介紹了 17 篇關于注意力機制論文的 PyTorch 的代碼實現(xiàn)以及使用方法。

項目地址：https://github.com/xmu-xiaoma666/External-Attention-pytorch

項目介紹

項目作者對注意力機制進行了分類，分為三個系列：Attention 系列、MLP 系列、ReP（Re-Parameter）系列。其中 Attention 系列中包含有大名鼎鼎的《Attention is All You Need》等 11 篇論文；最近比較熱門的 MLP 系列包括谷歌的 MLP-Mixer、gMLP ，F(xiàn)acebook 的 ResMLP，清華的 RepMLP ；此外，ReP（Re-Parameter）系列包括清華等提出的 RepVGG、 ACNet。

Attention 系列的 11 篇 Attention 論文 Pytorch 實現(xiàn)方式如下：

Pytorch 實現(xiàn)論文「Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks---arXiv 2020.05.05」
Pytorch 實現(xiàn)論文「Attention Is All You Need---NIPS2017」
Pytorch 實現(xiàn)論文「Simplified Self Attention Usage」
Pytorch 實現(xiàn)論文「Squeeze-and-Excitation Networks---CVPR2018」
Pytorch 實現(xiàn)論文「Selective Kernel Networks---CVPR2019」
Pytorch 實現(xiàn)論文「CBAM: Convolutional Block Attention Module---ECCV2018」
Pytorch 實現(xiàn)論文「BAM: Bottleneck Attention Module---BMCV2018」
Pytorch 實現(xiàn)論文「ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks---CVPR2020」
Pytorch 實現(xiàn)論文「Dual Attention Network for Scene Segmentation---CVPR2019」
Pytorch 實現(xiàn)論文「EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network---arXiv 2020.05.30」
Pytorch 實現(xiàn)論文「ResT: An Efficient Transformer for Visual Recognition---arXiv 2020.05.28」

MLP（多層感知機）系列中，包含 4 篇論文 Pytorch 實現(xiàn)方式，論文如下：

Pytorch 實現(xiàn)論文「RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition---arXiv 2020.05.05」
Pytorch 實現(xiàn)論文「MLP-Mixer: An all-MLP Architecture for Vision---arXiv 2020.05.17」
Pytorch 實現(xiàn)論文「ResMLP: Feedforward networks for image classification with data-efficient training---arXiv 2020.05.07」
Pytorch 實現(xiàn)論文「Pay Attention to MLPs---arXiv 2020.05.17」

ReP（Re-Parameter）系列中，包含 2 篇論文 Pytorch 實現(xiàn)方式，論文如下：

Pytorch 實現(xiàn)論文「RepVGG: Making VGG-style ConvNets Great Again---CVPR2021」
Pytorch 實現(xiàn)論文「ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks---ICCV2019」

總結來說，該項目共用 Pytorch 實現(xiàn)了 17 篇注意力機制論文。每篇論文包括題目（可直接鏈接到論文）、網(wǎng)絡架構、代碼。示例如下：

論文：「Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks」。

網(wǎng)絡框架：

代碼：

from attention.ExternalAttention *import* ExternalAttentionimport torch
input=torch.randn(50,49,512)ea = ExternalAttention(d_model=512,S=8)output=ea(input)print(output.shape)

來源：機器之心

讀者，你好！我們建了微信群方便大家學習交流，歡迎掃碼進群討論。

微商、廣告請繞道！謝謝合作！

17 篇注意力機制 PyTorch 實現(xiàn)！

17 篇注意力機制 PyTorch 實現(xiàn)！