一種關(guān)注于重要樣本的目標(biāo)檢測(cè)方法！

背景

論文是基于anchor的目標(biāo)檢測(cè)中正負(fù)樣本采樣的。首先來(lái)一起回顧下整個(gè)過(guò)程。

以經(jīng)典two-stage目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster-rcnn為例，如圖所示，過(guò)程大致為：

1. 圖片輸入經(jīng)過(guò)backbone得到feature_map，

2. 然后經(jīng)過(guò)RPN網(wǎng)絡(luò)得到proposal，

3. 再將proposal進(jìn)行1：3的正負(fù)樣本的采樣，

4. 將采樣后的正負(fù)樣本送入rcnn階段進(jìn)行分類(lèi)和回歸。

圖中藍(lán)框區(qū)域就是本文要研究的內(nèi)容：

問(wèn)題分析

在這樣一個(gè)正負(fù)樣本采樣階段，目前主流的算法都是怎么做的？

1. Faster-rcnn，將采樣后的正負(fù)樣本直接送入rcnn階段進(jìn)行分類(lèi)和回歸；
2. ohem，將loss大的proposal視為難例，在采樣的時(shí)候優(yōu)先采樣這些樣本；
3. focal_loss，通過(guò)兩個(gè)超參數(shù)調(diào)節(jié)不同難易程度樣本的loss。

還有很多別的關(guān)于正負(fù)樣本采樣的研究，這里不一一列舉，但是目前來(lái)看，大部分關(guān)于這部分的優(yōu)化，都是想要去優(yōu)化難例樣本，也就是說(shuō)，一個(gè)proposal在訓(xùn)練的時(shí)候貢獻(xiàn)的loss越大，越需要去優(yōu)化，但是這樣真的是對(duì)的嗎？或者說(shuō)，對(duì)于模型來(lái)說(shuō)，這些難例樣本真的是最重要的嗎？

這里我們舉一個(gè)例子，看一下本文認(rèn)為什么是重要的樣本，如下圖所示：

左圖：白色虛線表示ground truth，紅色框表示本文認(rèn)為的重要樣本(prime sample)，藍(lán)框?yàn)殡y例樣本。

右圖：不同采樣策略下模型的PR曲線，random表示平等對(duì)待各個(gè)樣本，hard表示重點(diǎn)關(guān)注難例樣本，prima表示重點(diǎn)關(guān)注重要樣本。

可以看到，基于prime sample的采樣策略能夠更好地提升檢測(cè)器的性能，原因是什么呢？

我們以左圖為例，對(duì)于左圖來(lái)說(shuō)，對(duì)于這樣一個(gè)檢測(cè)結(jié)果，往往我們希望去優(yōu)化藍(lán)框，因?yàn)樗膌oss更大，這是可以理解的。

但是對(duì)于這樣一個(gè)圖片，已經(jīng)有更好的紅框了，其實(shí)是沒(méi)有必要去優(yōu)化藍(lán)框的，因?yàn)樽罱K藍(lán)框只要比紅框得分低，它就會(huì)被后處理NMS干掉，從而不對(duì)檢測(cè)指標(biāo)有貢獻(xiàn)，因此，此時(shí)，與其去優(yōu)化藍(lán)框，不如進(jìn)一步優(yōu)化紅框，使其更加精確。換句話說(shuō)，紅框才是更重要的。

重新審視mAP

以COCO計(jì)算mAP的過(guò)程為例，大致分為以下四步：

1. 以間隔0.05對(duì)在0.5~0.95內(nèi)采樣iou閾值
2. 在每個(gè)iou閾值下，計(jì)算PR曲線，得到AP值
3. 將所有iou閾值下的AP值平均得到mAP（m--mean iou）
4. 所有類(lèi)別的mAP進(jìn)行平均得到總的mAP（m--mean  class）

接下來(lái)我們看一下，從mAP的指標(biāo)上來(lái)看，哪些正負(fù)樣本是更重要的？

文章中說(shuō)，對(duì)于單一gt bbox來(lái)說(shuō)，與其重疊的所有預(yù)測(cè)邊界框中，具有最高IoU的bbox最為重要。以圖左邊這個(gè)目標(biāo)為例：

對(duì)于白色虛線gt來(lái)說(shuō)，預(yù)測(cè)邊界框有bbox A， bbox B，bbox C，那么bbox C是最重要的，其原因在于它和gt的IOU是最高的，倘若不考慮每個(gè)框的置信度以及NMS的影響，當(dāng)計(jì)算AP50的時(shí)候，ABC都可以被認(rèn)為檢測(cè)到gt。

但是當(dāng)計(jì)算AP70的時(shí)候，只有C表示檢測(cè)到了gt，而此時(shí)A、B雖然表示沒(méi)有檢測(cè)到gt，但是有C檢測(cè)到了，就不影響recall了，所以C是直接影響召回的，因此它是最重要的。

對(duì)于多目標(biāo)gt bbox來(lái)說(shuō)，在所有針對(duì)不同對(duì)象的IoU最高bbox中（圖中bbox C和bbox D），具有更高IoU的bbox（圖中bbox D）更為重要。以圖中兩個(gè)目標(biāo)為例：

依舊類(lèi)比單目標(biāo)的思路，這里假設(shè)要計(jì)算AP50，那么兩個(gè)目標(biāo)分別被C和D很好的檢測(cè)到，但是要計(jì)算AP90，就只有D貢獻(xiàn)recall了，要計(jì)算AP95，那整張圖的mAP直接到0，也就是說(shuō)，隨著mAP計(jì)算過(guò)程中IOU閾值的增大，最后還是靠D一直在頂著，因此它是最重要的。

以圖為例，負(fù)樣本是沒(méi)有IOU的概念的，只有置信度得分，在nms之后，每一簇負(fù)樣本中（藍(lán)色的一簇，紅色的一簇）分?jǐn)?shù)最高的被保留下來(lái)，因?yàn)樗鼈儽尘皡^(qū)域被檢測(cè)為某類(lèi)別正樣本的負(fù)樣本，所以被預(yù)測(cè)為某類(lèi)別分?jǐn)?shù)越高代表其錯(cuò)的越厲害，也就是越重要。越重要也就是越需要重點(diǎn)關(guān)注去優(yōu)化，但是與優(yōu)化正樣本不一樣，對(duì)負(fù)樣本的優(yōu)化是希望高分?jǐn)?shù)能夠降下來(lái)。

PISA算法

基于以上內(nèi)容，我們?cè)賮?lái)看一下PISA這篇論文是怎么做的，其實(shí)主要內(nèi)容上面已經(jīng)說(shuō)了，就是為了得到高的mAP，分析出哪些正負(fù)樣本對(duì)mAP指標(biāo)的提高是最重要的。因此，下面主要就涉及兩方面內(nèi)容，第一，如何去找重要的樣本？第二，對(duì)重要程度不同的樣本分別做什么操作？

一、查找重要樣本--HLR

（1）IOU-HLR，對(duì)正樣本進(jìn)行分層排序

排序的過(guò)程圖中表示地比較清楚，總結(jié)一下就是，對(duì)于單一目標(biāo)附近的樣本(ABC, DE)，首先根據(jù)IOU在組內(nèi)排序(CAB，DE)，然后對(duì)不同類(lèi)別同一順位的樣本排序(DC, AE, B)，最后將排序后的樣本重新組合。這么做既考慮了組內(nèi)重要性，又考慮了組間重要性。

這里有一個(gè)簡(jiǎn)單的小實(shí)驗(yàn)，簡(jiǎn)單驗(yàn)證了本方法的有效性：

圖中展示的是，不同IOU閾值下的PR曲線，top5/top25表示按照IOU-HLR排序方法排序后得到的top5/top25的重要樣本。兩點(diǎn)結(jié)論，第一，關(guān)注重要樣本，的確能提升AP。第二，關(guān)注重要樣本，對(duì)高IOU閾值下的AP增益更大。

（2）Score-HLR，對(duì)負(fù)樣本進(jìn)行分層排序

這個(gè)過(guò)程跟正樣本差不多，不同的是正樣本依據(jù)的是IOU，負(fù)樣本依據(jù)的是Score，都能跟前面的分析照應(yīng)。

二、算法實(shí)現(xiàn)

1. ISR

在對(duì)所有樣本重要性進(jìn)行排序之后，怎么跟訓(xùn)練過(guò)程聯(lián)系起來(lái)呢？

這里采用的方法叫做ISR（Importance-based Sample Reweighting），即基于樣本重要性重新賦予權(quán)重。

分為以下幾個(gè)步驟：

(1) 首先將每個(gè)類(lèi)別的樣本分組（N個(gè)前景類(lèi)別+1個(gè)背景類(lèi)別），n_max表示在每個(gè)類(lèi)別中樣本數(shù)最多的數(shù)目，在每個(gè)組內(nèi)對(duì)正樣本進(jìn)行IoU-HLR操作，對(duì)負(fù)樣本進(jìn)行Score-HLR操作，得到重要性排序。

然后按照公式（1）將重要性排序進(jìn)行線性變換，r_i表示某樣本排序后的次序，r_i越小表示排序越靠前，可以看到r_i越小，u_i越大。

（2）再按照公式（2）將u和每個(gè)樣本的權(quán)重w建立聯(lián)系，為不同重要性的樣本賦予不同的權(quán)重，其中β和γ是超參數(shù)。

（3）最后將重新賦值的權(quán)重應(yīng)用到分類(lèi)損失的計(jì)算上。

其中i表示正樣本，j表示負(fù)樣本，這里為了保證應(yīng)用ISR之后不改變總的loss值，對(duì)ISR之后的每個(gè)樣本的權(quán)重進(jìn)行了歸一化。

2. CARL

在為不同的樣本根據(jù)重要性排序結(jié)果賦予不同權(quán)重之后，本來(lái)進(jìn)而提出了CARL(Classification-Aware Regression Loss)，來(lái)解決分類(lèi)和回歸不一致的問(wèn)題，也就是有時(shí)候回歸的好，但是分類(lèi)分?jǐn)?shù)差之類(lèi)的問(wèn)題。因?yàn)槲覀冇?jì)算mAP的時(shí)候，不僅需要高的IOU閾值，更要高的分類(lèi)置信度，畢竟NMS會(huì)首先保留下來(lái)分?jǐn)?shù)最好的檢測(cè)結(jié)果。

其做法如公式(4)所示，就是將分類(lèi)置信度p_i引入到回歸損失中，經(jīng)過(guò)推倒可以證明，回歸損失L(d_i, ^d_i)和L_carl對(duì)p_i的倒數(shù)是正相關(guān)的，回歸損失較大的樣本的分類(lèi)分?jǐn)?shù)會(huì)被抑制，這樣讓樣本的回歸結(jié)果指導(dǎo)分類(lèi)分支，加強(qiáng)分類(lèi)和回歸的一致性。

實(shí)驗(yàn)結(jié)果

1. PISA應(yīng)用在不同檢測(cè)器時(shí)，在COCO和VOC測(cè)試集上帶來(lái)的增益。

可以看到，基本都有漲點(diǎn)，尤其是對(duì)高IOU閾值下的AP指標(biāo)（AP75）漲點(diǎn)較多。

2. 消融實(shí)驗(yàn)

表3中，R表示平等對(duì)待所有樣本，H表示關(guān)注難例樣本，P表示關(guān)注主要樣本。

表4中，ISP-R/ISR-N分別表示為正/負(fù)樣本基于重要性重新賦予權(quán)重。CARL指分類(lèi)和回歸分支聯(lián)合調(diào)優(yōu)的應(yīng)用。

3. 超參數(shù)搜索實(shí)驗(yàn)

表5為公式(2)和公式(4)的超參數(shù)搜索實(shí)驗(yàn)結(jié)果。

4.ISR對(duì)樣本分?jǐn)?shù)的影響

橫坐標(biāo)表示樣本的重要性順序，縱坐標(biāo)表示樣本分?jǐn)?shù)。

可以看到，ISR-P能夠提升重要性排名靠前的正樣本的分?jǐn)?shù)，且抑制重要性排名靠后的樣本的分?jǐn)?shù)。

ISR-N也的確能夠抑制負(fù)樣本的分?jǐn)?shù)，且重要性排名越靠前，其分?jǐn)?shù)被抑制的越多。

5. CARL對(duì)樣本分?jǐn)?shù)的影響

圖8展示了應(yīng)用CARL之后，不同IOU下樣本分?jǐn)?shù)均值的變化，可以看到，CARL能夠提升高IOU下重要樣本得分，低IOU閾值下樣本得分會(huì)被抑制，也就是說(shuō)，有了更好的，不那么好的就可以考慮丟了呀。

6. 可視化結(jié)果

從可視化結(jié)果可以看到，PISA能夠使模型更關(guān)注于重要樣本的優(yōu)化，使得檢測(cè)結(jié)果中有更少的假陽(yáng)，且真陽(yáng)的分?jǐn)?shù)更高。

以上解讀僅代表個(gè)人觀點(diǎn)，水平有限，歡迎交流~

本文來(lái)自由周郴蓮負(fù)責(zé)的Datawhale論文分享項(xiàng)目「Whalepaper」，NLP、CV、Res…每周一起解讀論文！

Whalepaper介紹及加入方式：https://datawhale.feishu.cn/docs/doccnAbq5hJPaVB645IztpFPdld