提升注意力模塊性能!DCANet:學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的連接注意力|ECC...
加入極市專業(yè)CV交流群，與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動(dòng)交流！
同時(shí)提供每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、干貨資訊匯總，行業(yè)技術(shù)交流。關(guān)注?極市平臺(tái)?公眾號(hào)?，回復(fù)?加群，立刻申請(qǐng)入群~
今天給大家分享一篇ECCV2020上關(guān)于注意力機(jī)制方面的優(yōu)秀論文，該論文提出了深度連接注意力網(wǎng)絡(luò)(DCANet)，這是一種新穎的設(shè)計(jì)，在不改變CNN模型內(nèi)部結(jié)構(gòu)的情況下可以大幅提升注意力模塊的性能。這個(gè)工作也證明了注意力單元之間不同的連接方式和注意力模塊間信息交流的重要性。
論文鏈接：https://arxiv.org/pdf/2007.05099.pdf摘要和創(chuàng)新點(diǎn)
雖然，自注意力機(jī)制在許多視覺任務(wù)中都顯示出了優(yōu)越的效果，但它每次卻只考慮當(dāng)前的特征，因此這種方式并不能充分利用注意力機(jī)制。在本文中，作者提出了深度連接注意力網(wǎng)絡(luò)(DCANet)，這是一種新穎的設(shè)計(jì)，在不改變CNN模型內(nèi)部結(jié)構(gòu)的情況下提升注意力模塊的性能。
為了達(dá)到這樣的效果，作者將相鄰的注意力模塊連接起來(lái)，使得注意力模塊之間可以互相進(jìn)行信息流交換，DCANet將CNN模型中的所有注意塊一起進(jìn)行訓(xùn)練，提高了注意力學(xué)習(xí)的能力。而且DCANet是具有泛化性的。它不局限于特定的注意力模塊或基礎(chǔ)網(wǎng)絡(luò)架構(gòu)。在ImageNet和MS COCO基準(zhǔn)測(cè)試上的實(shí)驗(yàn)結(jié)果表明，DCANet在所有測(cè)試用例中始終優(yōu)于目前最先進(jìn)的注意力模塊，而且它的額外計(jì)算開銷也是最少的。
本文的創(chuàng)新點(diǎn)總結(jié)如下：1、DCANet通過(guò)從前面的注意塊中收集信息，并將其傳遞給下一個(gè)注意塊，使得注意塊間可以進(jìn)行相互配合，從而提高了注意力模塊的學(xué)習(xí)能力。
2、在不改變內(nèi)部結(jié)構(gòu)的情況下，研究了各種注意力模塊并開發(fā)了一個(gè)通用注意力框架，其中注意塊由三個(gè)組件組成：上下文提取、轉(zhuǎn)換和融合。
3、DCANet比較簡(jiǎn)單、通用，而且能極大程度提高注意力模塊性能，將DCANet應(yīng)用于多個(gè)最先進(jìn)的注意力模塊和一些基礎(chǔ)CNN架構(gòu)上，實(shí)驗(yàn)結(jié)果表明，毫不夸張地說(shuō)，經(jīng)過(guò)DCANet模塊增強(qiáng)的網(wǎng)絡(luò)比所有原始的網(wǎng)絡(luò)都要好。
DCA模塊介紹
深度連接注意力網(wǎng)絡(luò)，雖然在概念上其實(shí)是比較簡(jiǎn)單，但經(jīng)驗(yàn)表明，這種網(wǎng)絡(luò)是很強(qiáng)大的。本文通過(guò)分析各種注意力模塊的內(nèi)部結(jié)構(gòu)，提出了一種不局限于特定注意塊的通用連接方案。通過(guò)參數(shù)化的加法操作將之前的注意力特征與當(dāng)前提取的注意力特征進(jìn)行合并，保證了信息在各個(gè)注意力塊之間以前饋的方式流動(dòng)，有效地避免了在注意力模塊間的信息的頻繁變動(dòng)。下圖2是DCANet模塊的展示：
1、Revisiting Self-Attention Blocks首先回顧幾個(gè)流行的注意力模塊來(lái)分析其內(nèi)部結(jié)構(gòu)。常見的做法是，通過(guò)橫向添加額外的注意力塊來(lái)增強(qiáng)CNN的基礎(chǔ)架構(gòu)。然而，不同的注意力塊是針對(duì)不同的任務(wù)量身定制的，實(shí)現(xiàn)方式也是不同的。例如，SE塊由兩個(gè)完全連接的層組成，而GC塊包括幾個(gè)卷積層。因此，要直接提供一個(gè)標(biāo)準(zhǔn)的、足夠通用的、能涵蓋大多數(shù)注意塊的連接方式是不容易的。
為了解決這個(gè)問(wèn)題，作者研究了目前最先進(jìn)的注意力模塊，并總結(jié)了他們的處理方式和組成形式。根據(jù)最近注意力模塊連接方式及其組件的一些啟發(fā)(主要來(lái)自-SENet和NLNet)，研究了各種注意力模塊并開發(fā)了一個(gè)通用注意力框架，其中注意塊由三個(gè)組件組成：上下文提取、轉(zhuǎn)換和融合。提取是一種簡(jiǎn)單的特征提取器，變換則是將提取的特征轉(zhuǎn)化為新的非線性注意空間，融合是將注意和原始特征融合。這些組成部分是通用的，不局限于一個(gè)特別的注意塊。圖3為大家演示了這三個(gè)組件在四個(gè)比較流行的注意力塊上的具體情況。
Extraction：提取主要就是從特征圖中收集特征信息，對(duì)于給定的卷積塊生成的feature map，其中?，通過(guò)提取器g從X中提取特征:，其中是提取操作的參數(shù)，G是輸出。當(dāng)g是無(wú)參數(shù)操作時(shí)，就不需要了(比如池化操作)。g的靈活性使得G可以根據(jù)呈現(xiàn)不同的形狀進(jìn)行相適應(yīng)的提取操作。例如，SENet和GCNet將feature map X視為一個(gè)向量()，而CBAM中的空間注意模塊將feature map采集為一個(gè)張量()。Transformation：則是對(duì)提取到的特征進(jìn)行處理，并將其轉(zhuǎn)化到非線性的注意力空間。形式上，將t定義為特征變換操作，注意塊的輸出可以表示為。其中為變換操作中使用的參數(shù)，T為提取模塊的輸出。Fusion：將注意力映射與原始卷積塊的輸出融合在一起。注意引導(dǎo)輸出可以表示為，其中i是feature map中的索引，“”表示一個(gè)融合函數(shù);“”在設(shè)計(jì)為點(diǎn)積注意比例時(shí)執(zhí)行元素向乘法，否則執(zhí)行總和。2、Attention Connection
接下來(lái)，使用前面提到的注意組件提出了一個(gè)廣義的注意力連接模式。不管實(shí)現(xiàn)細(xì)節(jié)如何，注意力模塊的模型表示為:
如上一節(jié)所述，由轉(zhuǎn)換組件生成的注意力特征圖對(duì)于注意力學(xué)習(xí)至關(guān)重要。為了構(gòu)造連接注意力，將先前的注意力映射輸入當(dāng)前轉(zhuǎn)換組件，當(dāng)前轉(zhuǎn)換組件將先前的轉(zhuǎn)換輸出與當(dāng)前提取輸出合并。這種連接設(shè)計(jì)保證了當(dāng)前轉(zhuǎn)換模塊既能學(xué)習(xí)提取的特征，又能學(xué)習(xí)之前的注意力信息。由此產(chǎn)生的注意力模塊可以描述為:
其中i是特征的索引。在公式(3)中，可以看作是G的增強(qiáng)。Weighted Connection（加權(quán)連接）：加權(quán)求和主要是對(duì)直接連接進(jìn)行了增廣操作。為了避免引入額外的參數(shù)，計(jì)算重量使用α和β，連接函數(shù)此時(shí)可表示為：
與直接連接相比，加權(quán)連接在α和β之間產(chǎn)生了競(jìng)爭(zhēng)關(guān)系。此外，它可以很容易地?cái)U(kuò)展到softmax形式。消融研究的實(shí)驗(yàn)結(jié)果(見表2a)表明，結(jié)果對(duì)連接模式不敏感，說(shuō)明性能的提高更多地來(lái)自注意塊之間的連接，而不是連接函數(shù)的具體形式。因此在方法中默認(rèn)使用直接連接。3、Size MatchingCNN模型中的特征圖在不同的階段可能大小也不相同。因此，相應(yīng)的注意力特征圖的大小也可能發(fā)生變化，這種不匹配使得DCANet不可能在two-stage之間應(yīng)用。為了解決這一問(wèn)題，本文對(duì)通道上的注意力特征圖的形狀和空間維度進(jìn)行了自適應(yīng)匹配。對(duì)于通道，使用全連接層(然后是layer normalization和ReLU激活函數(shù))來(lái)匹配size，從而使得通道轉(zhuǎn)換為C通道，其中C'和C分別表示之前和當(dāng)前通道的數(shù)量。為了清晰起見，本文為通道尺寸匹配引入的參數(shù)為，為了進(jìn)一步減少注意力連接中的參數(shù)負(fù)擔(dān)，本文用兩個(gè)輕量級(jí)全連接層重新構(gòu)造了全連接層；輸出尺寸分別為C/r和C，其中r為縮減比。這一修改大大減少了引入?yún)?shù)的數(shù)量。關(guān)于通道匹配這一策略的實(shí)驗(yàn)影響見Table2e。所有的實(shí)驗(yàn)使用r = 16的全連接層來(lái)匹配信道大小。為了匹配空間分辨率，一個(gè)簡(jiǎn)單而有效的策略是采用平均池化層。本文將步幅和感受野大小設(shè)置為分辨率降低的尺度。Max-pooling在本文的方法中也很有效，但它只考慮部分信息而不是整個(gè)注意力信息。除了池化操作之外，另一種解決方案是learnable con volume操作。然而，作者認(rèn)為它不適合本文目的，因?yàn)樗肓嗽S多參數(shù)，并不能很好地推廣。詳細(xì)的空間分辨率尺寸匹配消融實(shí)驗(yàn)見Table2c。實(shí)驗(yàn)結(jié)果
本文在圖像識(shí)別和目標(biāo)檢測(cè)任務(wù)詳細(xì)評(píng)估了DCANet模型。并且在ImageNet和MS-COCO基準(zhǔn)測(cè)試上的實(shí)驗(yàn)結(jié)果，證明了方法的有效性。繼而進(jìn)行了大量全面的消融實(shí)驗(yàn)，深入研究了DCANet網(wǎng)絡(luò)內(nèi)部性質(zhì)。表1是在ImageNet驗(yàn)證集的詳細(xì)實(shí)驗(yàn)結(jié)果展示。觀察發(fā)現(xiàn)，與普通注意力模型相比，集成DCA模塊在所有情況下都提高了分類精度。值得注意的是，這里比較的網(wǎng)絡(luò)加入了注意力模塊之后都會(huì)比原先基礎(chǔ)網(wǎng)絡(luò)性能更強(qiáng)。在測(cè)試的網(wǎng)絡(luò)中，DCA-CBAM -ResNet50比 CBAM-ResNet50提高了0.51%的top-1精度，DCA-SE-MobileNetV2比SE-MobileNetV2提高了1.19%的top-1精度，但計(jì)算開銷是相當(dāng)?shù)?。這項(xiàng)改進(jìn)實(shí)驗(yàn)證明了DCANet模塊的效率。
消融實(shí)驗(yàn)結(jié)果展示如下：
下圖4對(duì)ResNet50、CBAM?-ResNet50和DCA進(jìn)行了可視化實(shí)驗(yàn)比較，可以看到，使用DCA模塊進(jìn)行注意力增強(qiáng)的模型始終專注于圖像中的關(guān)鍵部分，同時(shí)也注意到，最具判別性的特征部分在中間特征之間的變化很小。
在COCO數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果展示：
Conclusion
本文詳盡地指出，目前對(duì)自注意力機(jī)制的研究還不夠充分。為了更好地利用這個(gè)方法，本文提出了深度連接注意力網(wǎng)絡(luò)(DCANet)，它通過(guò)增加注意力模塊連接的方式使得注意力塊之間的信息流在向前傳播時(shí)能夠進(jìn)行自我調(diào)節(jié)。文章證明了DCANet可以用來(lái)對(duì)各種注意力方法進(jìn)行持續(xù)的優(yōu)化改進(jìn)，并且在基于ImageNet基準(zhǔn)測(cè)試方面，在CNN網(wǎng)絡(luò)架構(gòu)方面能達(dá)到最小的開銷。此外，在MS-COCO數(shù)據(jù)集上的實(shí)驗(yàn)表明，DCANet在其他視覺任務(wù)上有很好的表現(xiàn)效果。DCANet模塊以其優(yōu)雅的設(shè)計(jì)和獨(dú)特的前向反饋連接方式，使得它很容易與目前主流框架的各種注意力機(jī)制進(jìn)行集成。
◎作者檔案
Murufeng，一個(gè)緊跟前沿、樂(lè)于分享最新技術(shù)干貨的DLer！個(gè)人公眾號(hào)：深度學(xué)習(xí)技術(shù)前沿歡迎大家聯(lián)系極市小編（微信ID:fengcall19）加入極市原創(chuàng)作者行列
通道注意力超強(qiáng)改進(jìn)，輕量模塊ECANet來(lái)了！即插即用，顯著提高CNN性能｜已開源
極市干貨 | 第60期直播回放-張航-ResNeSt：拆分注意力網(wǎng)絡(luò)
綜述：計(jì)算機(jī)視覺中的注意力機(jī)制
△長(zhǎng)按添加極市小助手
△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨
覺得有用麻煩給個(gè)在看啦~??
評(píng)論
圖片
表情