目前最先進的One-Stage目標檢測器的限制是只分別處理每個圖像區(qū)域，而不考慮目標之間存在的可能關(guān)系。這就導(dǎo)致了模型只依賴于高質(zhì)量的卷積特征來檢測目標。然而，有時由于一些具有挑戰(zhàn)性的條件，這可能是不可能的。

本文分析了推理特征在One-Stage目標檢測中的應(yīng)用。作者嘗試了不同的架構(gòu)，利用自注意力來解釋圖像區(qū)域之間的關(guān)系。YOLOv3-Reasoner2模型在空間上和語義上增強了reasoning層中的特征，并將其與原始的卷積特征進行融合以性能的提升。YOLOv3-Reasoner2模型在COCO上比YOLOv3 Baseline實現(xiàn)了約2.5%的提升。

1 簡介

目標檢測的目的是在給定的圖像中分類和定位感興趣的目標。由于與其他計算機視覺應(yīng)用的緊密聯(lián)系，它已經(jīng)引起了社會各界的極大關(guān)注。在深度學(xué)習(xí)領(lǐng)域取得重大突破之前，已有許多傳統(tǒng)的方法被提出來解決目標檢測問題。這些方法建立在手工制作的特征表示上。不可避免地依賴于手工制作的特征限制了傳統(tǒng)方法的性能。

AlexNet的巨大影響使目標檢測方法呈現(xiàn)出新的面貌，基于深度學(xué)習(xí)的方法已完全主導(dǎo)了目標檢測的研究?；谏疃葘W(xué)習(xí)的檢測器可分為Two-Stage目標檢測器和One-Stage目標檢測器。由于中間層用于提出可能的目標區(qū)域，Two-Stage目標檢測器的推理速度較低。區(qū)域建議層在第一階段提取目標區(qū)域。在第二階段，這些提出的區(qū)域用于分類和邊界框回歸。另一方面，One-Stage檢測器可以以較高的推理速度在一次推理中預(yù)測所有的邊界框和類概率。這使得One-Stage目標檢測器更適合于實時應(yīng)用。

最近的One-Stage目標檢測器在諸如MS COCO和PASCAL VOC等數(shù)據(jù)集上取得了良好的性能。然而，他們?nèi)狈紤]圖像區(qū)域之間可能的關(guān)系的能力。目前的One-Stage目標檢測器對每個圖像區(qū)域進行單獨處理。當考慮圖像大小時，由于較小的感受野導(dǎo)致他們不知道不同的圖像區(qū)域。它們完全依賴于高質(zhì)量的局部卷積特征來檢測目標。然而，這并不是人類視覺系統(tǒng)的工作方式。人類有一種reasoning能力，能夠在獲得的知識的幫助下完成視覺任務(wù)。許多方法已經(jīng)被提出來模仿人類的推理能力在目標檢測。另一方面，這些方法大多比較復(fù)雜，采用Two-Stage檢測體系結(jié)構(gòu)。因此，它們不適用于實時應(yīng)用程序。

在本文中提出了一種將視覺reasoning納入One-Stage目標檢測的新方法。本文將基于Multi-Head Attention的reasoning層整合到Neck的頂部，而不是在Backbone上。通過這種方式，可以通過使用更有意義、更細粒度和更增強的特征映射來提取關(guān)于不同圖像區(qū)域之間關(guān)系的reasoning信息。

本文的貢獻可以總結(jié)如下：

• 提出通過視覺reasoning改進One-Stage目標檢測。提出了一種新的提取圖像區(qū)域間語義關(guān)系來預(yù)測邊界框和類概率的體系結(jié)構(gòu)。
• 分析了僅使用reasoning特征對目標檢測性能的影響。證明了僅卷積和reasoning特征仍然能夠?qū)崟r運行，同時比Baseline模型取得了更好的性能。
• 分析了利用reasoning對每個對象類別的平均精度提高的影響。

2 本文方法

所提方法的總體結(jié)構(gòu)如圖1所示。首先，利用Darknet-53進行特征提取，與YOLOv3一樣在3個不同的尺度上產(chǎn)生邊界框預(yù)測。通過FPN進行必要的上采樣操作后。然后，在reasoning層提取圖像區(qū)域之間的語義關(guān)系。最后階段由YOLO Head預(yù)測類概率和邊界框。

2.1 Reasoning Layer

采用類似transformer編碼器的模型作為Reasoning層。Reasoning層的體系結(jié)構(gòu)如圖2所示。

1、Flatten

Multi-Head Attention層期望有一個序列作為輸入。在Flatten中Tensor被reshape為一個序列，并以這種形式輸入到Multi-Head Attention層。

2、Positional Encoding

就其本質(zhì)而言，Multi-Head Attention層是不知道順序的。然而區(qū)域位置的信息是有價值的。為了對圖像區(qū)域的順序進行建模，采用固定正弦位置編碼:

式中, i為網(wǎng)格區(qū)域在序列中的位置, j為特征深度索引與 特征深 度相同。由正弦函數(shù)和余弦函數(shù)生成的值被成對cat, 并添加到網(wǎng)格區(qū) 域的卷積特征嵌入中。

3、Multi-Head Attention

Multi-Head Attention是在網(wǎng)格單元之間進行推理，即圖像區(qū)域的主要層。輸入序列不同區(qū)域之間的推理采用自注意力法進行建模，自注意法力基于query、key和value三個主要概念。在高級抽象中，query序列中的單個網(wǎng)格單元格會搜索潛在的關(guān)系，并試圖通過key將該單元格與序列中的其他單元格關(guān)聯(lián)起來，即圖像區(qū)域。query對和key之間的比較給這個value的注意力權(quán)重。注意力權(quán)重和value之間的相互作用決定了在表示當前單元格時放置序列的其他部分的焦點是多少。

在自注意力過程中, query矩陣、 key矩陣和value矩陣是通過將輸入序 列 X乘以 3 個不同的權(quán)重矩陣來計算的: 和 :

為了比較query和key矩陣，使用scaled dot product attention：

每個網(wǎng)格單元，即圖像區(qū)域，通過取注意力加權(quán)值矩陣列的求和來進行編碼。注意力權(quán)重決定了在value矩陣中觀察的位置。換句話說，在編碼當前網(wǎng)格時，它們會告訴圖像的哪些部分是有價值的、信息豐富的和相關(guān)的。

采用多頭方式進一步完善了自注意力機制。在Multi-Head Attention中，對head進行并行計算自注意力。多頭比單頭的主要優(yōu)勢是它使模型能夠在不同的關(guān)系子空間上工作。每個head都有一個不同的query、key和value矩陣，因為這些集合都是通過使用單獨的和隨機初始化的權(quán)重矩陣獲得的。head i中的注意力計算為：

然后，使用權(quán)重矩陣對注意力進行連接和變換：

4、Skip Connections

在reasoning層中有2個Skip Connections。如ResNet論文所述，反向傳播得到了改進，并通過殘差跳躍連接將原始信息傳播到以下各層。

5、Normalization

在reasoning層的2個地方應(yīng)用了歸一化方法。除了殘差的跳躍連接外，歸一化也是改善反向傳播的另一個關(guān)鍵因素。為了處理 internal covariate shift，作者采用了層歸一化。

6、MLP

Multi-Head Attention的輸出經(jīng)過歸一化后被輸入到多層感知器(MLP)。MLP層由2個線性層和中間的ReLU非線性層組成：

7、Rearrange

Rearrange是reasoning層的最后一個子層，在其中序列被轉(zhuǎn)換回檢測Head所期望的shape。

2.2 Reasoner配置

1、YOLOv3-Reasoner1

在這個配置中，F(xiàn)PN輸出被直接輸入到reasoning層。每個Head分別選擇16、8和4的下采樣scale，使每個Head的嵌入尺寸為64。reasoning層輸出輸入1×1卷積層。YOLOv3-Reasoner1的整個體系結(jié)構(gòu)如圖4所示。

2、YOLOv3-Reasoner2

在這種配置中，reasoning層的輸出通過一個Shortcut的方式與FPN輸出連接起來。然后，將連接層的輸出輸入到1×1的卷積層，以融合由推理和原始的單卷積特征組成的信息。有可能卷積特征的某些部分被減弱。本文的連接策略確保了原始卷積特征的可重用性。YOLOv3-Reasoner2的體系結(jié)構(gòu)如圖5所示。

3 實驗

4 參考

[1].ANALYSIS OF VISUAL REASONING ON ONE-STAGE OBJECT DETECTION

公眾號后臺回復(fù)“數(shù)據(jù)集”獲取50+深度學(xué)習(xí)數(shù)據(jù)集下載～