日韩av电影在线播放,亚洲美女啪啪,成人亚洲A片Ⅴ一区二区三区动漫成人免费毛片嘿嘿连载视频 ,麻豆视频二区,三级91,公交车伦理片,日韩城人免费,成人国产高清

點擊左上方藍字關注我們

全網(wǎng)搜集目標檢測相關，人工篩選最優(yōu)價值內(nèi)容

編者薦語

文章介紹了一個考慮全局空間信息的注意力模塊，Pyramid Split Attention (PSA)。PSA具備即插即用、輕量、簡單高效的特點。該模塊與ResNet結合，通過PSA替代ResNet的bottleneck中的3x3卷積，組成了EPSANet。

EPSANet用于圖像識別，比SENet top-1acc高了1.93%。PSA用在Mask RCNN上，目標檢測高了2.7 box AP，實例分割高了1.7 mask AP。

論文：

https://arxiv.org/pdf/2105.14447v1.pdf

代碼：

https://github.com/murufeng/EPSANet

本文出發(fā)點

1. SE僅僅考慮了通道注意力，忽略了空間注意力。

2. BAM和CBAM考慮了通道注意力和空間注意力，但仍存在兩個最重要的缺點：(1)沒有捕獲不同尺度的空間信息來豐富特征空間。(2)空間注意力僅僅考慮了局部區(qū)域的信息，而無法建立遠距離的依賴。

3. 后續(xù)出現(xiàn)的PyConv，Res2Net和HS-ResNet都用于解決CBAM的這兩個缺點，但計算量太大。

基于以上三點分析，本文提出了Pyramid Split Attention。

主要操作：將input tensor從通道上分成S組。每一組進行不同卷積核大小的卷積，以獲取不同尺度的感受野，提取不同尺度的信息。再通過SE模塊，提取每組的通道的加權值，最后對S組的加權值進行softmax歸一化并加權。

具體將input tensor分成S組，并對每組進行不同卷積的SPC模塊如下圖所示。

SPC先將input tensor分成S組，每組的卷積核大小依次增大，如k=3,5,7,9?？紤]到當卷積核比較大時，計算量也大，因此，對每一組再進行分組卷積，具體分組數(shù)量G = exp(2,(k-1)/2)，即2的(k-1)/2次冪。當K = 3,5,7,9時，G=1，2，3，4。

在經(jīng)過不同大小的卷積后，在通道上拼接。

經(jīng)過SPC模塊后，PSA再將SPC模塊的輸出通過SE Weight Module獲得通道注意力值，這樣做的目的是獲得不同尺度特征圖的注意力權值。

通過這樣的做法，PSA融合了不同尺度的上下文信息，并產(chǎn)生了更好的像素級注意力。

最后將每組通道注意力權值拼接，進行softmax歸一化，對SPC模塊的輸出進行加權。

完整的PSA模塊如下圖所示。

這里補充一下pyramid split attention中的pyramid。在《特征金字塔技術總結》中介紹了特征金字塔的兩種構建方式，其中一種就是通過不同大小卷積核的卷積來構建特征金字塔。因此，這里PSA中的Pyramid是由SPC模塊中的每組不同大小卷積核的卷積所構建。

如上圖所示，將PSA替代ResNet的bottleneck中的3x3卷積，再堆疊幾個這樣的模塊就構成了EPSANet，這里的E，指的是efficient。

網(wǎng)絡設計如下圖所示。

EPSANet用于圖像識別，比SENet top-1acc高了1.93%。PSA用在Mask RCNN上，目標檢測高了2.7 box AP，實例分割高了1.7 mask AP。

以ResNet-50和ResNet-101為backbone，加入各種注意力模塊的圖像識別效果對比

END

雙一流大學研究生團隊創(chuàng)建，專注于目標檢測與深度學習，希望可以將分享變成一種習慣！

整理不易，點贊三連↓