↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨南山

來(lái)源丨AI約讀社

編輯丨極市平臺(tái)

極市導(dǎo)讀

緩解小目標(biāo)檢測(cè)問(wèn)題的方法有很多，例如：多尺度特征學(xué)習(xí)，數(shù)據(jù)增強(qiáng)，訓(xùn)練策略，基于上下文的檢測(cè)和基于GAN的檢測(cè)等，今天我們介紹一篇通過(guò)改進(jìn)數(shù)據(jù)擴(kuò)增方式提升小目標(biāo)檢測(cè)的準(zhǔn)確率。?>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿

近年來(lái)，目標(biāo)檢測(cè)算法取得了很好的成績(jī)，但是，小目標(biāo)和大目標(biāo)的檢測(cè)性能差異較大。小目標(biāo)檢測(cè)是目標(biāo)檢測(cè)中必不可少且具有挑戰(zhàn)性的問(wèn)題，在人臉檢測(cè)、交通標(biāo)記、缺陷檢測(cè)等領(lǐng)域都是其重要挑戰(zhàn)。緩解小目標(biāo)檢測(cè)問(wèn)題的方法有很多，例如：多尺度特征學(xué)習(xí)，數(shù)據(jù)增強(qiáng)，訓(xùn)練策略，基于上下文的檢測(cè)和基于GAN的檢測(cè)等，今天我們介紹一篇通過(guò)改進(jìn)數(shù)據(jù)擴(kuò)增方式提升小目標(biāo)檢測(cè)的準(zhǔn)確率。

論文題目：Augmentation for small object detection

論文鏈接：https://arxiv.org/abs/1902.07296

代碼鏈接：https://github.com/gmayday1997/SmallObjectAugmentation

01?小目標(biāo)檢測(cè)困難的原因

造成小目標(biāo)檢測(cè)困難的原因主要有兩個(gè)：1、小目標(biāo)的實(shí)例較少，2、小目標(biāo)標(biāo)注面積占比小。

1.1 小目標(biāo)實(shí)例較少

第一個(gè)問(wèn)題小目標(biāo)實(shí)例較少，作者以 MSCOCO 數(shù)據(jù)集為例進(jìn)行分析，訓(xùn)練集中出現(xiàn)的所有目標(biāo)中有 41.43%?是小的，而只有 34.4%?和 24.2%?分別是中型和大型目標(biāo)，并在訓(xùn)練集中出現(xiàn)小目標(biāo)圖片約占一半，而 70.07%?和 82.28%?的訓(xùn)練圖像分別包含中型和大型物體，如Table 2所示：

1.2 小目標(biāo)標(biāo)注面積占比小

不同大小的目標(biāo)的 Total Object Area 差異很大，經(jīng)統(tǒng)計(jì)，只有 1.23%?的標(biāo)注像素屬于小目標(biāo)，中型目標(biāo)占比 10.18%，是小目標(biāo)的十倍，而有 82.28%?的占比屬于大目標(biāo)。

當(dāng)前檢測(cè)器大部分的anchor匹配策略是以anchor和groud truth的IOU來(lái)劃分正負(fù)樣本，例如將 anchor 和 GT 匹配后，匹配 IoU≥0.5 的 anchor 會(huì)作為正樣本參與訓(xùn)練（如下圖所示）。然而這種匹配方式更傾向于大目標(biāo)，會(huì)造成了小目標(biāo)匹配少、大目標(biāo)匹配多的不平衡性。

02?小目標(biāo)檢測(cè)的數(shù)據(jù)擴(kuò)增方法

上面兩個(gè)問(wèn)題體現(xiàn)出了小目標(biāo)的檢測(cè)性能較差的原因之一是：訓(xùn)練數(shù)據(jù)中小目標(biāo)的再現(xiàn)性較差，因此，作者提出對(duì)小目標(biāo)樣本進(jìn)行?Oversampling（過(guò)采樣），然后在對(duì)樣本里的小目標(biāo)進(jìn)行?Copy-Pasting（復(fù)制粘貼），以此來(lái)提供足夠的小目標(biāo)來(lái)和 anchor 進(jìn)行匹配，以此實(shí)現(xiàn)提高小目標(biāo)檢測(cè)的性能。

2.1 Oversampling

在訓(xùn)練階段對(duì)有小目標(biāo)的圖像進(jìn)行Oversampling(過(guò)采樣)，來(lái)解決含有小目標(biāo)的圖像較少的問(wèn)題，過(guò)采樣簡(jiǎn)單來(lái)說(shuō)就是將一張圖片重復(fù)加入訓(xùn)練幾次，這種方式十分簡(jiǎn)單，但也有效，并且實(shí)現(xiàn)方式也很簡(jiǎn)單只需要將含有小目標(biāo)的樣本多復(fù)制幾遍并修改名字就行。復(fù)制的次數(shù)就是oversampleing rate（過(guò)采樣率），通過(guò)控制oversampleing rate來(lái)實(shí)現(xiàn)大中小的樣本數(shù)量均衡。

2.2?Copy-Pasting

作者在Oversampling基礎(chǔ)上增加了Copy-Pasting（復(fù)制粘貼策略），也就是將小目標(biāo)貼到圖像中的任意位置并生成新的標(biāo)注，并且粘貼的小目標(biāo)可以進(jìn)行隨機(jī)變換（縮放，翻折，旋轉(zhuǎn)等），這種方式通過(guò)增加每個(gè)圖像中小目標(biāo)的數(shù)量，匹配的 anchor 的數(shù)量也會(huì)隨之增加，這進(jìn)而提升了小目標(biāo)在訓(xùn)練階段對(duì) loss 計(jì)算的貢獻(xiàn)。

作者提出了三種復(fù)制粘貼小目標(biāo)的方式：

1、圖像中選擇一個(gè)小目標(biāo)，然后在隨機(jī)位置復(fù)制粘貼多次

2、圖像中選擇許多小目標(biāo)，并在任意位置復(fù)制粘貼它們一次

3、圖像中所有的小目標(biāo)在任意位置復(fù)制粘貼多次

下圖說(shuō)明了所提出的 augmentation 策略以及如何在訓(xùn)練中增加匹配 anchor 的數(shù)量，從而更好地檢測(cè)小目標(biāo)。

03實(shí)驗(yàn)結(jié)果

3.1 Oversampling

作者做了充足的實(shí)驗(yàn)驗(yàn)證了這種擴(kuò)增方式對(duì)小目標(biāo)性能的提升。首先作者將Baseline（Mask RCNN）與加入Oversampling進(jìn)行對(duì)比，如Table 3 所示，可以看出? Oversampling 不管是在檢測(cè)還是分割都有所提高，但可能對(duì)大尺度目標(biāo)的檢測(cè)效果有損害，因此需要根據(jù)實(shí)際數(shù)據(jù)進(jìn)行調(diào)整，并不是越大越好。

3.2?Copy-Pasted

接著作者對(duì)Copy-Pasting（復(fù)制粘貼）的有效性進(jìn)行了驗(yàn)證，將Baseline（Mask RCNN）與幾種組合Oversampling以及Augmentation進(jìn)行比較如 Table 4所示。主要包括以下幾類(lèi)：

1、用Copy-Pasted后的圖像代替原始的圖像(表格中的第二行)

2、在上面方法的基礎(chǔ)上使用Oversampling(表格中的第三行)可以發(fā)現(xiàn)，上述兩個(gè)的結(jié)果相比于Baseline都比較差。

3、在測(cè)試的時(shí)候，不是在原始的測(cè)試集上了，而是用訓(xùn)練集上的Augmentation方法同樣去處理Test數(shù)據(jù)集，性能獲得了較大的提高。

作者認(rèn)為出現(xiàn)這種情況是由于人工復(fù)制的不完美性導(dǎo)致的，例如粘貼的目標(biāo) mask 和 background 亮度差，這些相對(duì)容易被神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)。采用augmentation and oversampling 相結(jié)合的方法，取得了較好的效果，augmentation的概率為 0.5，這使得原始目標(biāo)和 augmented 的目標(biāo)比例為 2:1。這種設(shè)置比單純的 oversampling 效果更好，驗(yàn)證了所提出的粘貼小對(duì)象策略的有效性。

3.3?Copy-Pasted?Strategies

作者最后還對(duì)三種復(fù)制粘貼策略進(jìn)行了測(cè)試：

1、圖像中選擇一個(gè)小目標(biāo)，然后在隨機(jī)位置復(fù)制粘貼多次；

2、圖像中選擇許多小目標(biāo)，并在任意位置復(fù)制粘貼它們一次；

3、圖像中所有的小目標(biāo)在任意位置復(fù)制粘貼多次。

這里我們簡(jiǎn)要介紹一下最好的情況，在這三種策略中第二種也就是選擇多個(gè)小目標(biāo)進(jìn)行復(fù)制粘貼取得了最好的效果，并且在粘貼三次小目標(biāo)的效果最好。如圖表所示：

04總結(jié)

這篇文章分析表明小目標(biāo)檢測(cè)性能較差的原因之一是訓(xùn)練數(shù)據(jù)中小目標(biāo)數(shù)量較少，導(dǎo)致在anchor匹配小目標(biāo)匹配少，大目標(biāo)匹配多的不平衡性，也就是訓(xùn)練數(shù)據(jù)中小目標(biāo)的再現(xiàn)性較差。因此，作者提出了過(guò)采樣和復(fù)制粘貼的策略通過(guò)增加小目標(biāo)的數(shù)量提升小目標(biāo)檢測(cè)的性能并且在實(shí)驗(yàn)中證明了其有效性。

推薦閱讀

深度學(xué)習(xí)檢測(cè)小目標(biāo)常用方法
我們是如何改進(jìn)YOLOv3進(jìn)行紅外小目標(biāo)檢測(cè)的？
解決小目標(biāo)檢測(cè)！多尺度方法匯總

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??

小目標(biāo)檢測(cè)：數(shù)據(jù)增強(qiáng)

01?小目標(biāo)檢測(cè)困難的原因

02?小目標(biāo)檢測(cè)的數(shù)據(jù)擴(kuò)增方法

03實(shí)驗(yàn)結(jié)果

04總結(jié)