目標(biāo)檢測(cè)的目的是定位圖像中的目標(biāo)，并提供它們的類標(biāo)簽。作為計(jì)算機(jī)視覺中最基本的任務(wù)之一，它是許多視覺應(yīng)用的關(guān)鍵組成部分，包括實(shí)例分割、人體姿態(tài)分析和視覺推理。目標(biāo)檢測(cè)問題的重要性以及深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展導(dǎo)致了近年來的重大進(jìn)展。

RepPoint和RepPointv2是近年來提出的目標(biāo)檢測(cè)模型。這兩篇檢測(cè)論文讓我最大的收獲是對(duì)無錨目標(biāo)檢測(cè)算法的性能優(yōu)勢(shì)有了一定的解讀，并朝著無錨目標(biāo)檢測(cè)算法的方向進(jìn)行探索。

RepPointv2認(rèn)為，雖然基于錨點(diǎn)的目標(biāo)檢測(cè)算法近年來表現(xiàn)出了良好的性能，但仍然過于粗糙。主要表現(xiàn)為檢測(cè)頭和分類頭從bbox中提取的特征可能受到背景和雜亂語義信息的影響。

RepPoints是一種新的目標(biāo)檢測(cè)表示，它由一組點(diǎn)組成，這些點(diǎn)表示目標(biāo)的空間范圍和語義上重要的局部區(qū)域。該表示法通過基于矩形地形圖的弱定位監(jiān)督和隱式識(shí)別反饋來學(xué)習(xí)?；诟S富的RepPoints表示，我們開發(fā)了一個(gè)無錨目標(biāo)檢測(cè)器，與使用邊界框相比，它能產(chǎn)生更好的性能。

假設(shè)我們正在對(duì)人體進(jìn)行標(biāo)記并進(jìn)行人體檢測(cè)。如果這個(gè)人張開雙臂，為了盡可能地把人的目標(biāo)框起來，標(biāo)記好的bbox會(huì)介紹很多背景信息。此外，如果人體區(qū)域周圍有大量的其他人或行人重疊，標(biāo)記的方框就會(huì)包含大量的誤導(dǎo)性信息。

因此提出了RepPoint的結(jié)構(gòu)，通過在錨點(diǎn)中建立一系列自適應(yīng)采樣點(diǎn)來代替完全采樣，即在正采樣區(qū)域中學(xué)習(xí)一組自適應(yīng)采樣點(diǎn)來尋找表示。

我們采用特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPN)作為骨干網(wǎng)絡(luò)，為了便于說明，我們只繪制了FPN特征圖的一個(gè)比例的后續(xù)管道。注意FPN特征映射的所有尺度共享相同的后面的網(wǎng)絡(luò)結(jié)構(gòu)和相同的模型權(quán)重。

首先，使用主干+FPN提取輸入圖像的多層特征，然后對(duì)FPN中的每個(gè)像素點(diǎn)位置，使用RepPoint結(jié)構(gòu)獲取FPN中的每個(gè)像素點(diǎn)位置采樣點(diǎn)的偏移量，利用所述RepPoint組獲得的采樣點(diǎn)位置確定目標(biāo)的粗定位檢測(cè)幀，然后將所述第一個(gè)RepPoint結(jié)構(gòu)獲得的偏移量轉(zhuǎn)移到第二個(gè)RepPoint結(jié)構(gòu)。兩個(gè)RepPoint結(jié)構(gòu)獲得的偏移量相對(duì)于第一個(gè)RepPoint的偏移量疊加，得到的是每個(gè)位置的最終采樣點(diǎn)。并根據(jù)最終采樣點(diǎn)得到目標(biāo)的最小邊界矩形。分類基于第一個(gè)RepPoint結(jié)構(gòu)提供的采樣點(diǎn)所形成的目標(biāo)邊界矩形。

解釋說，在FPN中使用FPN的意義在于，不同尺度的目標(biāo)自然會(huì)歸于不同層次的特征圖，對(duì)于小目標(biāo)使用更高的分辨率的特征圖，它還減少了兩個(gè)同樣尺度的目標(biāo)落在同一個(gè)中心點(diǎn)的概率，因此大大減少了目標(biāo)中心點(diǎn)重疊的發(fā)生。

在RepPointV2中，作者希望繼續(xù)提高網(wǎng)絡(luò)的回歸性能，從而提高整個(gè)網(wǎng)絡(luò)的性能。

與V1版本的改進(jìn)相比，作者首先參照驗(yàn)證算法得到當(dāng)前輸入圖像的前背景熱圖和角點(diǎn)圖像，然后利用這個(gè)輔助分支與之前RPDet計(jì)算的主分支相結(jié)合來提高性能，類似于FCOS的objectness分支。

然而，兩者之間也有差異。FCOS中的objectness分支是對(duì)最終網(wǎng)絡(luò)生成的多個(gè)定位幀的加權(quán)篩選，目的是去除冗余的假陽性定位幀，而REpPointv2中的auxiliary分支考慮到RepPoint結(jié)構(gòu)是在一定范圍內(nèi)選擇特征點(diǎn)。

總結(jié)

相對(duì)于v1論文，RepPointv2論文主要通過增加輔助分支來加強(qiáng)定位能力。輔助分支所做的主要工作是提高RepPoint提取采樣特征點(diǎn)的能力。所采用的方法是通過生成的前背景和角落熱度圖來達(dá)到參考索引的效果。