超越卷積、自注意力機(jī)制：強(qiáng)大的神經(jīng)網(wǎng)絡(luò)新算子involution

這篇工作主要是由我和SENet的作者胡杰一起完成的，也非常感謝HKUST的兩位導(dǎo)師 陳啟峰和張潼老師的討論和建議。

概要

我們的貢獻(xiàn)點(diǎn)簡(jiǎn)單來講：

（1）提出了一種新的神經(jīng)網(wǎng)絡(luò)算子（operator或op）稱為involution，它比convolution更輕量更高效，形式上比self-attention更加簡(jiǎn)潔，可以用在各種視覺任務(wù)的模型上取得精度和效率的雙重提升。

（2）通過involution的結(jié)構(gòu)設(shè)計(jì)，我們能夠以統(tǒng)一的視角來理解經(jīng)典的卷積操作和近來流行的自注意力操作。

• 論文鏈接：https://arxiv.org/abs/2103.06255

• 代碼和模型鏈接：https://github.com/d-li14/involution

這部分內(nèi)容主要來自原文Section 2，Section 3

convolution

convolution kernel的大小寫作  ，其中  和  分別是輸出和輸入的通道數(shù)目，而  是kernel size，  一般不寫，代表在  個(gè)pixel上共享相同的kernel，即空間不變性，而每個(gè)通道C獨(dú)享對(duì)應(yīng)的kernel則稱為通道特異性。convolution的操作可以表達(dá)為：

其中  是input tensor，  是output tensor，  是convolution kernel。

• 空間不變性

一方面，空間不變性帶來的優(yōu)點(diǎn)包括：1.參數(shù)共享，否則參數(shù)量激增至  ，2.平移等變性，也可以理解為在空間上對(duì)類似的pattern產(chǎn)生類似的響應(yīng)，其不足之處也很明顯：提取出來的特征比較單一，不能根據(jù)輸入的不同靈活地調(diào)整卷積核的參數(shù)。

另一方面，因?yàn)榫矸e操作的參數(shù)量和計(jì)算量中都存在  一項(xiàng)，其中通道數(shù)量C往往是數(shù)百甚至數(shù)千，所以為了限制參數(shù)量和計(jì)算量的規(guī)模，K的取值往往較小。我們從VGGNet開始習(xí)慣沿用  大小的kernel，這限制了卷積操作一次性地捕捉長距離關(guān)系的能力，而需要依靠堆疊多個(gè)  大小的kernel，這對(duì)于感受野的建模在一定程度上不如直接使用大的卷積核更加有效。

• 通道特異性

之前已經(jīng)有一些研究低秩近似的工作認(rèn)為卷積核在通道維度是存在著冗余的，那么卷積核在通道維度的大小就可能可以有所縮減，而不會(huì)明顯影響表達(dá)能力。直觀地理解，我們把每個(gè)輸出通道對(duì)應(yīng)的卷積核鋪成一個(gè)  大小的矩陣，那么矩陣的秩不會(huì)超過  ，代表其中存在很多的kernel是近似線性相關(guān)的。

involution

基于以上分析我們提出了involution，它在設(shè)計(jì)上與convolution的特性相反，即在通道維度共享kernel，而在空間維度采用空間特異的kernel進(jìn)行更靈活的建模。involution kernel的大小為  ，其中  ，表示所有通道共享G個(gè)kernel。involution的操作表達(dá)為：

其中  是involution kernel。

在involution中，我們沒有像convolution一樣采用固定的weight matrix作為可學(xué)習(xí)的參數(shù)，而是考慮基于輸入feature map生成對(duì)應(yīng)的involution kernel，從而確保kernel size和input feature size在空間維度上能夠自動(dòng)對(duì)齊。否則的話，例如在ImageNet上使用固定  大小的圖像作為輸入訓(xùn)練得到的權(quán)重，就無法遷移到輸入圖像尺寸更大的下游任務(wù)中（比如檢測(cè)、分割等）。involution kernel生成的通用形式如下：

其中  是坐標(biāo)(i,j)鄰域的一個(gè)index集合，所以  表示feature map上包含  的某個(gè)patch。

關(guān)于上述的kernel生成函數(shù)  ，可以有各種不同的設(shè)計(jì)方式，也值得大家去進(jìn)一步探索。我們從簡(jiǎn)單有效的設(shè)計(jì)理念出發(fā)，提供了一種類似于SENet的bottleneck結(jié)構(gòu)來進(jìn)行實(shí)驗(yàn)：  就取為  這個(gè)單點(diǎn)集，即  取為feature map上坐標(biāo)為(i, j)的單個(gè)pixel，從而得到了involution kernel生成的一種實(shí)例化

其中  和  是線性變換矩陣，r是通道縮減比率，  是中間的BN和ReLU。

針對(duì)輸入feature map的一個(gè)坐標(biāo)點(diǎn)上的特征向量，先通過  (FC-BN-ReLU-FC)和reshape (channel-to-space)變換展開成kernel的形狀，從而得到這個(gè)坐標(biāo)點(diǎn)上對(duì)應(yīng)的involution kernel，再和輸入feature map上這個(gè)坐標(biāo)點(diǎn)鄰域的特征向量進(jìn)行Multiply-Add得到最終輸出的feature map。具體操作流程和tensor形狀變化如下：

其中  是坐標(biāo)(i,j)附近  的鄰域。單純基于PyTorch API簡(jiǎn)單的偽代碼實(shí)現(xiàn)如下：

involution操作的參數(shù)量  ，計(jì)算量分為kernel generation和Multiply-Add (MAdd)兩部分  ，明顯低于普通convolution的參數(shù)量  和計(jì)算量  。

1. 在通道上共享kernel（僅有G個(gè)kernel）允許我們?nèi)ナ褂么蟮目臻gspan（增加K），從而通過spatial維度的設(shè)計(jì)提升性能的同時(shí)保證了通過channel維度的設(shè)計(jì)維持效率（見ablation in Tab. 6a，6b），即使在不同空間位置不共享權(quán)重也不會(huì)引起參數(shù)量和計(jì)算量的顯著增長。

2. 雖然我們沒有在空間上的每個(gè)pixel直接共享kernel參數(shù)，但我們?cè)诟叩膶用嫔瞎蚕砹嗽獏?shù)（meta-weight，即指kernel生成函數(shù)的參數(shù)），所以仍然能夠在不同的空間位置上進(jìn)行knowledge的共享和遷移。作為對(duì)比，即使拋開參數(shù)量大漲的問題，如果將convolution在空間上共享kernel的限制完全放開，讓每個(gè)pixel自由地學(xué)習(xí)對(duì)應(yīng)的kernel參數(shù)，則無法達(dá)到這樣的效果。

[Discussion] 與self-attention的相關(guān)性

這部分內(nèi)容主要來自原文Section 4.2

self-attention

 ,

其中  分別為輸入  線性變換后得到的query，key和value，H是multi-head self-attention中head的數(shù)目。下標(biāo)表示(i, j)和(p,q)對(duì)應(yīng)的pixel之間進(jìn)行query-key匹配，  表示query(i,j)對(duì)應(yīng)key的范圍，可能是  的local patch（local self-attention），也可能是  的full image（global self-attention）。

• self-attention中不同的head對(duì)應(yīng)到involution中不同的group（在channel維度split）
• self-attention中每個(gè)pixel的attention map  對(duì)應(yīng)到involution中每個(gè)pixel的kernel 

另外  對(duì)應(yīng)于attention matrix multiplication前對(duì)  做的線性變換，self-attention操作后一般也會(huì)接另一個(gè)線性變換和殘差連接，這個(gè)結(jié)構(gòu)正好就對(duì)應(yīng)于我們用involution替換resnet bottleneck結(jié)構(gòu)中的  convolution，前后也有兩個(gè)  convolution做線性變換。

另外一些基于pure self-attention構(gòu)建backbone的工作（比如stand-alone self-attention，lambda networks）已經(jīng)注意到，僅僅使用position encoding而不是用query-key relation就能達(dá)到相當(dāng)可觀的性能，即attention map使用  而不是  （  是position encoding matrix）。而從我們involution的角度來看，這只不過是又換了一種kernel generation的形式來實(shí)例化involution。

因此，我們重新思考self-attention在backbone網(wǎng)絡(luò)結(jié)構(gòu)中有效的本質(zhì)可能就是捕捉long-range and self-adaptive interactions，通俗點(diǎn)說是使用一個(gè)large and dynamic kernel，而這個(gè)kernel用query-key relation來構(gòu)建則并不是必要的。另一方面，因?yàn)槲覀兊膇nvolution kernel是單個(gè)pixel生成的，這個(gè)kernel不太適合擴(kuò)展到全圖來應(yīng)用，但在一個(gè)相對(duì)較大的鄰域內(nèi)應(yīng)用還是可行的（如  ，  ），這同時(shí)也說明了CNN設(shè)計(jì)中的locallity依然是寶藏，因?yàn)榧词褂胓lobal self-attention，網(wǎng)絡(luò)的淺層也很難真的利用到復(fù)雜的全局信息。

Vision Transformer

實(shí)驗(yàn)結(jié)果

ImageNet圖像分類

我們使用involution替換ResNet bottleneck block中的  convolution得到了一族新的骨干網(wǎng)絡(luò)RedNet，性能和效率優(yōu)于ResNet和其他self-attention做op的SOTA模型。

COCO目標(biāo)檢測(cè)和實(shí)例分割

其中fully involution-based detectors（involution用在backbone，neck和head）在保證性能略有提升或不變的前提下，能夠?qū)⒂?jì)算復(fù)雜度減至  40%。

Cityscapes語義分割

值得一提的是，COCO檢測(cè)任務(wù)中針對(duì)大物體的指標(biāo)  提升最多（3%-4%），Cityscapes分割任務(wù)中也是大物體（比如墻，卡車，公交車等）的單類別IoU提升最明顯（高達(dá)10%甚至20%以上），這也驗(yàn)證了我們?cè)谥胺治鲋兴岬降膇nvolution相比于convolution在空間上具有動(dòng)態(tài)建模長距離關(guān)系的顯著優(yōu)勢(shì)。

1. 關(guān)于廣義的involution中kernel生成函數(shù)空間進(jìn)一步的探索；
2. 類似于deformable convolution加入offest生成函數(shù)，使得這個(gè)op空間建模能力的靈活性進(jìn)一步提升；
3. 結(jié)合NAS的技術(shù)搜索convolution-involution混合結(jié)構(gòu)（原文Section 4.3）；
4. 我們?cè)谏衔恼撌隽藄elf-attention只是一種表達(dá)形式，但希望(self-)attention機(jī)制能夠啟發(fā)我們?cè)O(shè)計(jì)更好的視覺模型，類似地detection領(lǐng)域最近不少好的工作，也從DETR的架構(gòu)中獲益匪淺。

? THE END