機器學(xué)習(xí)正越來越多地進(jìn)入我們的日常生活。從個人服務(wù)的廣告和電影推薦，到自動駕駛汽車和自動送餐服務(wù)。幾乎所有的現(xiàn)代自動化機器都能“看”世界，但跟我們不一樣。為了像我們?nèi)祟愐粯涌吹胶妥R別每個物體，它們必須特別地進(jìn)行檢測和分類。雖然所有現(xiàn)代檢測模型都非常擅長檢測相對較大的物體，比如人、汽車和樹木，但另一方面，小物體仍然給它們帶來一些麻煩。對于一個模型來說，很難在房間的另一邊看到手機，或者在100米之外看到紅綠燈。所以今天我們要講的是為什么大多數(shù)流行的目標(biāo)檢測模型不擅長檢測小目標(biāo)，我們?nèi)绾翁岣咚鼈兊男阅?，以及其他已知的解決這個問題的方法。

原因

所有現(xiàn)代目標(biāo)檢測算法都是基于卷積神經(jīng)網(wǎng)絡(luò)的。這是一種非常強大的方法，因為它能夠創(chuàng)造一些低級的圖像抽象，如線，圓圈，然后將它們“迭代地組合”成我們想要檢測的目標(biāo)，但這也是它們難以檢測小目標(biāo)的原因。

上面你可以看到一個通用的圖像分類神經(jīng)網(wǎng)絡(luò)的插圖。我們最感興趣的是隱藏層部分。如你所見，這個網(wǎng)絡(luò)有許多卷積的組合，然后是一個池化層。許多目標(biāo)檢測網(wǎng)絡(luò)，如YOLO, SSD-Inception和Faster R-CNN也使用這些，而且使用得相當(dāng)多。將圖像的分辨率從600×600降低到約30×30。由于這個事實，他們在第一層提取的小目標(biāo)特征(一開始就很少)在網(wǎng)絡(luò)中間的某個地方“消失”了，從來沒有真正到達(dá)檢測和分類步驟中。我們可以嘗試一些方法來幫助模型更好地查看這些目標(biāo)，但是在改進(jìn)性能之前，讓我們先看看它現(xiàn)在的狀態(tài)。

目前流行的目標(biāo)檢測器的性能

論文SOD-MTGAN在COCO數(shù)據(jù)集上進(jìn)行實驗并收集了2016年的測試結(jié)果。+++表示F-RCNN的特殊訓(xùn)練過程。

一些很小改動去提升小目標(biāo)檢測的方法

使用Focal loss

如果你有很多類要檢測，一個最簡單的方法來提高對小物體和難以檢測的類的檢測是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中使用Focal loss。這里的主要直覺是，這種損失對網(wǎng)絡(luò)的“懲罰”不是對它已經(jīng)可以很好地檢測到的類別進(jìn)行錯誤分類，而是對它現(xiàn)在有問題的類別進(jìn)行更多分類。因此，為了進(jìn)一步最小化損失函數(shù)，權(quán)值將開始以這樣一種方式改變，使網(wǎng)絡(luò)更好地挑選困難的類別。這很容易從主要論文提供的圖中看到：

將圖像分成小塊

我們自己也遇到過模型不能檢測到相對較小的物體的問題。任務(wù)是檢測足球運動員和比賽場上的足球。游戲的分辨率是2K，所以我們有很多細(xì)節(jié)。但我們用來檢測玩家的模型的輸入分辨率要小得多——從300×300到604×604。所以，當(dāng)我們把圖像輸入網(wǎng)絡(luò)時，很多細(xì)節(jié)都丟失了。它仍然能夠找到前景中的球員，但既沒有球也沒有球員在球場的另一邊被檢測到。因為我們有一個大的輸入圖像，我們決定先嘗試我們能想到的最簡單的解決方案 —— 把圖像分割成小塊，然后對它們運行檢測算法。而且效果很好。你可以在下面看到運行測試的結(jié)果。

雖然該模型的FPS大幅下降，但它給了該模型在玩家檢測上一個非常好的準(zhǔn)確性提升。另一方面，球仍然是個問題。稍后我們將更深入地探討我們是如何解決它的。

利用圖像的時間特性

如果我們有一個來自靜止攝像機的視頻，我們需要檢測它上面的移動物體，比如足球，我們可以利用圖像的時間特性。例如，我們可以做背景減法，或者僅僅使用后續(xù)幀之間的差異作為一個(或多個)輸入通道。所以，我們可能有3個RGB通道和一個或多個額外的通道。這確實讓我們改變了一些網(wǎng)絡(luò)的輸入，但仍然不是很多。我們所需要改變的只是第一個輸入層，而網(wǎng)絡(luò)的其他部分可以保持不變，仍然可以利用整個架構(gòu)的力量。

這一變化將預(yù)示著網(wǎng)絡(luò)將為移動目標(biāo)創(chuàng)造更“強大”的特性，而這些特性不會消失在池化和大stride的卷積層中。

改變anchor大小

目前的一些探測器使用所謂的“錨”來探測物體。這里的主要直覺是通過明確地向網(wǎng)絡(luò)提供一些關(guān)于物體大小的信息來幫助網(wǎng)絡(luò)檢測物體，并在圖像中每個預(yù)定義的單元格中檢測幾個物體。

因此，改變錨點以適應(yīng)你的數(shù)據(jù)集是一個很好的主意。對于YOLOv3，有一種簡單的方法可以做到這一點。這里：https://github.com/AlexeyAB/darknet#how-to-improve-object-detection你將發(fā)現(xiàn)一系列改進(jìn)YOLO體系結(jié)構(gòu)檢測的方法。

為小目標(biāo)檢測定制模型

上面描述的方法很好，但遠(yuǎn)不是最好的，如果你使用專為尋找小目標(biāo)而設(shè)計的體系結(jié)構(gòu)，你很可能會獲得更好的結(jié)果。所以，讓我們開始吧。

特征金字塔網(wǎng)絡(luò) (FPN)

由于其有趣的結(jié)構(gòu)，這些類型的網(wǎng)絡(luò)在檢測小目標(biāo)方面表現(xiàn)得相當(dāng)有效。雖然像SSD和YOLOv3這樣的網(wǎng)絡(luò)也檢測不同尺度的目標(biāo)，但是只使用了這些尺度的信息，即所謂的金字塔特征層，而FPN建議將高層特征向下傳播。這一方法“豐富”了抽象的底層，并具有更強的語義特征，這些特征是網(wǎng)絡(luò)在其頭部附近計算出來的，最終幫助探測器拾取小物體。這種簡單而有效的方法表明，可以將目標(biāo)檢測數(shù)據(jù)集的總體平均精度從47.3提高到56.9。

Finding Tiny Faces

這篇做了大量的工作和研究。我強烈建議你閱讀全文：https://arxiv.org/pdf/1612.04402.pdf，但我們在這里總結(jié)一下：

上下文很重要，利用它更好地找到小物體

• 建立多個不同尺度的網(wǎng)絡(luò)成本高，但效果好
• 如果你想要高精度，區(qū)域建議仍然是一個好方法
• 查看你的骨干網(wǎng)絡(luò)做預(yù)訓(xùn)練的數(shù)據(jù)集，然后嘗試縮放你的圖像，使你需要檢測/分類的目標(biāo)的大小匹配那些預(yù)訓(xùn)練的數(shù)據(jù)集。這將減少訓(xùn)練時間和并得到更好的結(jié)果。檢測大小為20×45的目標(biāo)，使用同樣大小的kernel可能并不一定是最有效的。將圖像放大兩倍并使用40×90的kernel，就可能真正提高性能。大物體的情況則相反。

F-RCNN的改進(jìn)

因為在幾乎所有你看到的關(guān)于網(wǎng)絡(luò)之間的速度/準(zhǔn)確性比較的圖表中，F(xiàn)-RCNN總是在右上角，人們一直在努力提高這種體系結(jié)構(gòu)的速度和準(zhǔn)確性。我們將簡要看一下不同的改進(jìn)方法，以提高其準(zhǔn)確性。

Small Object Detection in Optical Remote Sensing Images via Modified Faster RCNN

在本文中，作者做了幾件事。首先，他們測試了不同的預(yù)訓(xùn)練骨干網(wǎng)絡(luò)用于F-RCNN的小目標(biāo)檢測。結(jié)果表明，ResNet-50的效果最好。他們已經(jīng)選擇了最適合他們測試網(wǎng)絡(luò)的數(shù)據(jù)集的最佳錨尺寸。此外，就像之前關(guān)于尋找小人臉的論文一樣，使用物體周圍的背景也顯著有助于檢測。最后，他們采用了從高到低結(jié)合特征的FPN方法。

然而，架構(gòu)并不是他們唯一改變和創(chuàng)新的東西。訓(xùn)練過程也得到了改進(jìn)，并對訓(xùn)練結(jié)果產(chǎn)生了很大的影響。第一個變化是為訓(xùn)練平衡數(shù)據(jù)集的特定方式。他們通過多次處理一些圖像來平衡數(shù)據(jù)集，而不是讓它保持原樣，然后調(diào)整損失函數(shù)來進(jìn)行均衡類別的學(xué)習(xí)。這使得每個時代的階級分布更加均勻。他們改變的第二件事是添加了一個隨機旋轉(zhuǎn)。因此，它們不是將圖像旋轉(zhuǎn)90或180度，而是將圖像旋轉(zhuǎn)一個隨機生成的角度，例如13.53。這需要重新計算邊界框，你可以在原始論文中看到公式。

Small Object Detection with Multiscale Features

本文作者也使用Faster-RCNN作為主要網(wǎng)絡(luò)。他們所做的修改與FPN的想法相似 —— 將高層的特征與低層的特征結(jié)合起來。但是，他們沒有迭代地組合層，而是將它們連接起來，并對結(jié)果運行1×1卷積。這在作者提供的體系結(jié)構(gòu)可視化中得到了最好的體現(xiàn)。

在結(jié)果表中，他們顯示，與普通的Faster-RCNN相比，這種方法使mAP增加了0.1。

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network

首先，在讀到這種方法的名稱后，你可能會想:“等等，使用GAN來檢測目標(biāo)？”。但請耐心等待，這種方法的作者做了一件相當(dāng)聰明的事情。你可能之前就想到過：“如果物體都很小，為什么我們不放大它們呢？”簡單地使用插值將圖像放大的問題在于，對于原來的5×5的模糊的像素，我們將得到10×10(或20×20，或任何你設(shè)置的倍增因子)甚至更模糊的像素。這在某些情況下可能有所幫助，但通常情況下，這以處理更大的圖像和更長時間的訓(xùn)練為代價，提供了相對較小的性能提升。但是如果我們有一種方法可以放大圖像同時保留細(xì)節(jié)呢？這就是GANs發(fā)揮作用的地方。你可能知道，它們被證明在放大圖像時非常有效。所謂的超分辨率網(wǎng)絡(luò)(SRN)可以可靠地將圖像縮放到x4倍，如果你有時間訓(xùn)練它們并收集數(shù)據(jù)集的話，甚至可以更高。

但作者們也不僅僅是簡單地使用SRN來提升圖像，他們訓(xùn)練SRN的目的是創(chuàng)建圖像，使最終的檢測器更容易找到小物體，檢測器與生成器一起訓(xùn)練。因此，這里的SRN不僅用于使模糊的圖像看起來清晰，而且還用于為小物體創(chuàng)建描述性特征。正如你在之前的圖中看到的，它工作得很好，提供了一個顯著的提高準(zhǔn)確性。

總結(jié)

今天我們學(xué)到的是:

• 小目標(biāo)檢測仍然不是一個完全解決的問題，
• 上下文問題
• 放大圖像是個好主意
• 結(jié)合不同層的輸出
• 檢查預(yù)訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)集，更好地評估其性能和利用它。