新目標檢測框架 | 基于改進的one-shot的目標檢測

點擊下方“AI算法與圖像處理”，一起進步！
重磅干貨，第一時間送達

目前在目標檢測方面的進展依賴于大規(guī)模的數(shù)據(jù)集來獲得良好的性能。然而，在許多場景下可能并不總是有足夠的樣本，從而導致當前基于深度學習的目標檢測模型的性能下降。

一、簡要

為了克服上述的問題，有研究者提出了一種新的one-shot條件檢測框架(OSCD)。給予一個含有target object的support? image和query image作為輸入，OSCD可以在查詢圖像中檢測屬于目標對象類別的所有目標。

具體來說，OSCD由一個Siamese網(wǎng)絡和一個two-stages檢測模型組成。在two-stages檢測的每個階段，分別設計了一個特征融合模塊和一個可學習的度量模塊來進行有效的條件檢測。一旦訓練，OSCD可以在不需要進一步訓練的情況下檢測可見和看不見類的對象，這也有優(yōu)勢，包括classagnostic, training-free for unseen classes和without catastrophic forgetting。實驗表明，該方法在基于Fashion-MNIST和Pascal VOC的數(shù)據(jù)集上取得了最先進的性能

二、背景

如下圖所示。[S.K. Biswas, P. Milanfar, One shot detection with laplacian object and fast?matrix cosine similarity, IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI)]中提出的傳統(tǒng)one-shot檢測框架，將onr-shot檢測問題視為具有滑動窗口方案的經(jīng)典檢測問題，并選擇了最適合的窗口。特別是使用一個度量學習模塊，而不是經(jīng)典的分類器，來計算來自新感興趣的類的support ?image和query image的標記窗口之間的相似性。另一種方法如下圖(b)，LSTD框架選擇利用來自新感興趣的類的support樣本來優(yōu)化區(qū)域候選網(wǎng)絡(RPN，即取代傳統(tǒng)的滑動窗口方案)和基于深度學習的檢測器，并期望原始檢測流能夠以有限的支持樣本數(shù)量自適應地識別新類。

由于這兩種方法的基本相似性，結(jié)果表明，這兩種方法通過將新類的support圖像作為條件處理，可以與條件目標檢測模型相等。

然后，研究者就提出了將檢測問題更好地命名為one-shot條件目標檢測。并設計了一個基于可學習度量和two-stages檢測模型的通用one-shot條件目標檢測框架(OSCD)，如上圖(c)。

條件目標檢測與目標檢測之間存在一些區(qū)別。

首先，他們有不同的目標。條件目標檢測的目的是檢測與測試圖像中給定的條件圖像相似的對象。因此，條件目標檢測可以檢測到屬于不可見類別的對象。而目標檢測是檢測所有屬于訓練類別的對象，不能檢測看不見類對象；其次，這兩種方法有不同的訓練方式。條件目標檢測的訓練是基于support和query圖像對。而目標檢測是標準的監(jiān)督學習，并有足夠的訓練樣本；第三，這兩種方法有不同的評價標準，在各種support和query圖像對上評估了條件目標檢測模型，而目標檢測模型則在許多檢測圖像上進行了評估。

三、新框架

在one-shot條件目標檢測的設置中，數(shù)據(jù)通常成對組織，由support和query圖像組成。support圖像通常包含一個主導的目標對象（人或馬），并且模型應該能夠在query圖像中檢測到屬于目標對象類別的對象。

對于目標檢測，假設在感興趣的類中沒有足夠的樣本，從而導致公共監(jiān)督學習方法的性能較差。此外，我們可能不知道在未來的任務中存在哪些類別。更嚴重的挑戰(zhàn)是，“目標”可以是任何令人感興趣的模式。所有這些問題都使得目標檢測任務對傳統(tǒng)方法來說極其困難。因此，提出了one-shot的條件目標檢測方法來解決上述問題。

如下圖所示。One-shot條件檢測的目標是根據(jù)查詢圖像中的給定條件（目標對象的單個支持圖像）來檢測對象。在one-shot條件檢測的情況下，在許多支持查詢的可見類圖像對上訓練一個模型，以獲得強先驗。一旦訓練，模型可以從具有單一支持圖像的看不見類中檢測屬于目標類別的所有對象。

通用目標檢測器(Faster R-CNN)和提出的OSCD。Faster?R-CNN可以定位和識別可見類（人）的對象，但無法對看不見類（馬）的對象進行分類。相比之下，所提出的OSCD實現(xiàn)了C-RPN和C-Detector的條件目標檢測，以更加關注支持類的對象，并過濾掉其他類的無關對象。

上圖，(a)C-RPN：S操作連接全局平均和最大池support features，并通過卷積層生成顯著support features，然后T平鋪突出support features使平鋪support features具有與query features相同的空間大小，因此F可以連接平鋪support features來查詢特征。C1、C2是兩個卷積層。(b)C-Detector：從C-RPN中選擇候選區(qū)域的query features，然后將它們與support features結(jié)合起來。R表示調(diào)整大小的操作，F(xiàn)表示深度上的連接。可學習的度量模塊由一個用于降維的卷積層和兩個用于檢測的全連接層組成。

四、實驗及可視化

?(a) The generation process of support-query image pairs on the FashionOSCD dataset.

?(b) Examples for the Fashion-OSCD dataset. Green boxes denote?ground truth bounding boxes. Each image contains as much as 3 objects with?multiple scales and aspect ratios.

五、分析總結(jié)

研究者提出了一種新的one-shot條件目標檢測框架。一個精心設計的C-RPN和C-Detector已經(jīng)被實現(xiàn)，以形成一個粗到細的two-stages條件檢測通道。在這two-stages，模型通過所提出的特征融合模塊和可學習的度量模塊來學習識別和定位支持類對象。在兩個數(shù)據(jù)集上的實驗證明了新方法在one-shot條件目標檢測方面取得了最先進的性能。

雖然模型取得了良好的結(jié)果，但仍然有一些局限性：模型和具有足夠訓練樣本的傳統(tǒng)監(jiān)督學習檢測器之間的性能差距很大，模型的計算開銷大于傳統(tǒng)的監(jiān)督學習檢測器。研究者需要繼續(xù)改進所提出的框架，如利用triplet loss來提取更具表現(xiàn)力的深度特征和探索更好的Siamese networks。

感覺研究者進行本研究時，還缺乏相關的OSCD研究。SiamFC and SiamRPN是研究者們所能找到的最相關的方法。在未來，可以把新方法與更多的one-shot目標檢測方法進行比較。

努力分享優(yōu)質(zhì)的計算機視覺相關內(nèi)容，歡迎關注：

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、NeRF、GAN、算法競賽等微信群

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風格指南

在「AI算法與圖像處理」公眾號后臺回復：c++，即可下載。歷經(jīng)十年考驗，最權威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文