清華&南開出品最新視覺注意力機(jī)制Attention綜述

清華計(jì)圖胡事民團(tuán)隊(duì)的這篇注意力機(jī)制的綜述火了！

在上周的arXiv上，這是最熱的一篇論文：

推特以及GitHub上也有不低的熱度：

而這篇論文引用近200篇內(nèi)容，對計(jì)算機(jī)視覺領(lǐng)域中的各種注意力機(jī)制進(jìn)行了全面回顧。

在大量調(diào)查之后，論文將注意力機(jī)制分為多個(gè)類別，GitHub還給出了各類別下提到內(nèi)容的PDF下載文件：

現(xiàn)在，就來一起看看這篇論文。

文章主要內(nèi)容

論文首先將基于注意力的模型在計(jì)算機(jī)視覺領(lǐng)域中的發(fā)展歷程大致歸為了四個(gè)階段：

1. 將深度神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，代表性方法為RAM

2. 明確預(yù)測判別性輸入特征，代表性方法為STN

3. 隱性且自適應(yīng)地預(yù)測潛在的關(guān)鍵特征，代表方法為SENet

4. 自注意力機(jī)制

同時(shí)，注意力機(jī)制也被分為了通道注意、空間注意、時(shí)間注意、分支注意，以及兩個(gè)混合類別：

針對不同類別，研究團(tuán)隊(duì)給出了其代表性方法和發(fā)展背景：

通道注意力（Channel Attention）

在深度神經(jīng)網(wǎng)絡(luò)中，不同特征圖的不同通道常代表不同對象。

而通道注意力作為一個(gè)對象選擇過程，可以自適應(yīng)地重新校準(zhǔn)每個(gè)通道的權(quán)重，從而決定關(guān)注什么。

因此，按照類別和出版日期將代表性通道關(guān)注機(jī)制進(jìn)行分類，應(yīng)用范圍有分類（Cls）、語義分割（SSeg）、實(shí)例分割（ISeg）、風(fēng)格轉(zhuǎn)換（ST）、動作識別（Action）。

其中，(A)代表Channel-wise product，(I）強(qiáng)調(diào)重要通道，（II）捕捉全局信息。

空間注意力（Spatial Attention）

空間注意力可以被看作是一種自適應(yīng)的空間區(qū)域選擇機(jī)制。

其應(yīng)用范圍比通道注意力多出了精細(xì)分類（FGCls）和圖像字幕（ICap）。

時(shí)間注意力（Temporal Attention）

時(shí)間注意力可以被看作是一種動態(tài)的時(shí)間選擇機(jī)制，決定了何時(shí)進(jìn)行注意，因此通常用于視頻處理。

分支注意力（Branch Attention）

分支注意可以被看作是一種動態(tài)的分支選擇機(jī)制，通過多分支結(jié)構(gòu)決定去注意什么。

通道空間注意力（Channel & Spatial Attention）

通道和空間結(jié)合的注意力機(jī)制可以自適應(yīng)地選擇重要的對象和區(qū)域，由殘差注意力（Residual Attention）網(wǎng)絡(luò)開創(chuàng)了這一內(nèi)容。

在殘差注意力之后，為了有效利用全局信息，后來的工作又相繼引入全局平均池化（Global Average Pooling），引入自注意力機(jī)制等內(nèi)容。

時(shí)空注意力（Spatial & Temporal Attention）

時(shí)空注意力機(jī)制可以自適應(yīng)地選擇重要區(qū)域和關(guān)鍵幀。

最后，作者也提出了注意力機(jī)制在未來的一些研究方向：

• 探索注意力機(jī)制的必要和充分條件

• 是否可以有一個(gè)通用的注意塊，可以根據(jù)具體的任務(wù)在各類注意力機(jī)制之間進(jìn)行選擇

• 開發(fā)可定性和可解釋的注意力模型

• 注意力機(jī)制可以產(chǎn)生稀疏的激活，這促使我們?nèi)ヌ剿髂姆N架構(gòu)可以更好地模擬人類的視覺系統(tǒng)

• 進(jìn)一步探索基于注意力的預(yù)訓(xùn)練模型

• 為注意力模型研究新的優(yōu)化方法

• 找到簡單、高效、有效的基于注意力的模型，使其可以廣泛部署

關(guān)于作者

這篇論文來自清華大學(xué)計(jì)算機(jī)系胡事民團(tuán)隊(duì)。

胡事民為清華大學(xué)計(jì)算機(jī)系教授，教育部長江學(xué)者特聘教授，曾經(jīng)和現(xiàn)任IEEE、Elsevier、Springer等多個(gè)期刊的主編、副主編和編委。同時(shí)，他也是清華“計(jì)圖”框架團(tuán)隊(duì)的負(fù)責(zé)人，這是首個(gè)由中國高校開源的深度學(xué)習(xí)框架。

文章一作為胡事民教授的博士生國孟昊，現(xiàn)就讀于清華大學(xué)計(jì)算機(jī)系，也是清華計(jì)圖團(tuán)隊(duì)的一員。

各類資源匯總鏈接：
https://github.com/MenghaoGuo/Awesome-Vision-Attentions

論文地址：
https://arXiv.org/abs/2111.07624