來源：DeepHub IMBA

本文約2100字，建議閱讀8分鐘
本文為你介紹的論文試圖量化和可視化靜態(tài)注意力機制，并表明并非所有的注意模塊都是有益的。

圖像超分辨率(SR)是一種低層次的計算機視覺問題，其目標是從低分辨率觀測中恢復(fù)出高分辨率圖像。近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的SR方法取得了顯著的成功，CNN模型的性能不斷增長。近年來，一些方法開始將注意機制集成到SR模型中，如頻道注意和空間注意。注意力機制的引入通過增強靜態(tài)cnn的表示能力，極大地提高了這些網(wǎng)絡(luò)的性能。

現(xiàn)有研究表明，注意機制在高績效超劃分模型中非常重要。但是很少有研究真正討論“注意力為什么起作用以及它是如何起作用的”。

今天要介紹的論文試圖量化和可視化靜態(tài)注意力機制，并表明并非所有的注意模塊都是有益的。[1]為高精度SR圖像提出了注意網(wǎng)絡(luò)(attention network, A2N)中的注意力。具體來說，A2N由非注意力分支和耦合注意力分支組成。

[1]提出dropout模塊(ADM)為兩個分支生成動態(tài)權(quán)值，用于抑制不重要的參數(shù)。這使得注意力模塊可以更多地關(guān)注有益的例子而不受其他懲罰，因此可以通過少量的附加參數(shù)來增加注意力模型的容量。

動機

給定輸入特征，注意力機制將預(yù)測熱點圖。例如，通道注意將生成1D注意力地圖;空間注意力將生成2D注意力地圖;頻道——空間注意力將生成3D注意力地圖。自然而然地，我們問了兩個問題:

• 圖像的每個部分的注意力因素是高還是低?
• 注意力機制是否總是有利于SR模式?

為了回答上面提到的第一個問題，[1]使用了10個注意模塊組成的網(wǎng)絡(luò)，每個模塊都使用了通道和空間注意層，所以每個像素都有一個獨立的系數(shù)。

注意力熱點圖：由于空間有限，我們選擇了幾個具有代表性的塊，每一欄分別表示第一、第三、第六、第十注意塊。

• 第一行：平均輸入特征圖。

• 第二行：平均輸出特征圖。

• 第三行：平均注意力地圖。

對于前兩行，特征中的白色區(qū)域表示零值，紅色區(qū)域表示正值，藍色區(qū)域表示負值。對于注意圖(第三行)，顏色越亮表示系數(shù)越高。來源[1]

上圖為某些特征與注意圖的視覺效果，上表為注意圖與高通濾波的相關(guān)系數(shù)。雖然這種測量方法不能準確測量注意反應(yīng)，但其目的是量化不同層次之間的相對高通相關(guān)性。

每個注意塊的注意圖與相應(yīng)特征圖的高通濾波器輸出特征之間的相關(guān)系數(shù)。

從上圖和上表中可以看出，不同層次學(xué)習(xí)到的注意力差異很大。例如，模塊1和模塊10的反應(yīng)是完全相反的，即低水平注意模塊傾向于低頻模式，高水平注意模塊傾向于高頻模式，中間注意模塊的反應(yīng)是混合的。

基于以上發(fā)現(xiàn)，[1]提出盡量減少注意力的使用，同時盡量減少附加參數(shù)的數(shù)量。一個直觀的想法是:只將注意力層放在性能關(guān)鍵層中。然而，上述分析并不是衡量注意層有效性的有效解決方案。

為了定量衡量注意層的有效性，[1]提出了注意dropout框架。他們通過關(guān)閉特定的注意層進行了一系列的對比實驗，結(jié)果如下表所示。

從上表可以看出，模塊的深度對注意模塊的插入位置影響很大。該結(jié)果進一步驗證了在整個網(wǎng)絡(luò)中均勻設(shè)置注意力是一種次優(yōu)解決方案。

方法

一種固定的注意力層方案(如RCAN、PANet)被用來同時激活所有的與圖像內(nèi)容無關(guān)注意力地圖。以上實驗表明，注意層的有效性會隨著位置的變化而變化。這啟發(fā)了[1]構(gòu)造一個非注意短連接分支和一個注意分支，并將它們與動態(tài)權(quán)重混合在一起。

如圖所示，網(wǎng)絡(luò)架構(gòu)由三部分組成：

• 淺層的特征提?。?/span>
• 注意塊深度特征提取中的注意力；
• 圖像重建模塊。

輸入和輸出圖像分別表示為ILR和ISR。

在淺層特征提取模塊中使用單一的卷積層。然后他們就可以闡明：

其中fext(·)是內(nèi)核大小為3×3的卷積層，從輸入LR圖像ILR中提取淺層特征，x0是提取的特征圖。他們利用A2B構(gòu)造了一個鏈子網(wǎng)絡(luò)作為深度特征提取器。

其中，fA2B(·)表示我們在注意塊中的建議。A2B將無注意力的分支和注意力分支結(jié)合起來并動態(tài)調(diào)整權(quán)重。

在深度特征提取后，通過重構(gòu)模塊對深度特征xn進行升級。在重構(gòu)模塊中，首先使用最近鄰插值進行上采樣，然后在兩個卷積層之間使用一個簡化的通道-空間注意層。

他們受到動態(tài)內(nèi)核的啟發(fā)，提出了一個可學(xué)習(xí)的ADM來自動丟棄一些不重要的注意力特性，并平衡注意力分支到非注意力分支。具體來說，每個ADM都采用加權(quán)方法來控制注意力分支和非注意力分支的動態(tài)加權(quán)貢獻。

如上圖所示，注意dropout模塊通過使用其塊的相同輸入特征作為兩個獨立分支來生成權(quán)重。

在形式上，我們有：

其中x^{na}_ n為非注意力分支的輸出，x^{att}_ n為注意力分支的輸出。F_ {1×1}(·)提供1×1核卷積。π^{na}和π^{att}分別為非注意力分支和注意力分支的權(quán)值，由網(wǎng)絡(luò)根據(jù)輸入特征計算π^{na}和π^{att}，而不是人為設(shè)置的兩個固定值。為了計算動態(tài)權(quán)值，我們有：

其中f_drop(·)是注意力丟棄模塊。

注意力丟棄模塊可以在上面的圖中詳細查看。它首先使用全局平均池化壓縮輸入xn?1。連接層由兩個完全連接的層組成，使用ReLU激活。它們使用全局池化來增加接受域，這使得注意力退出模塊能夠從整個圖像中捕獲特征。

結(jié)論

實驗結(jié)果表明，該模型與目前最先進的輕量級網(wǎng)絡(luò)相比，具有更好的權(quán)衡性能。局部歸因圖的實驗也證明注意(A2)結(jié)構(gòu)中的注意可以從更廣泛的范圍內(nèi)提取特征。

論文

1.Haoyu Chen, Jinjin Gu, Zhi Zhang.Attention in Attention Network for Image Super-Resolution,arXiv:2104.09497

本文作者：Nabil MADALI

原文地址：https://medium.com/@nabil.madali/attention-in-attention-network-for-image-super-resolution-60f9726f0bbc

編輯：黃繼彥

校對：林亦霖