盤點(diǎn)GAN在目標(biāo)檢測中的應(yīng)用

1，2017-CVPR: A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

摘要

• 如何學(xué)習(xí)對(duì)遮擋和變形不敏感的物體檢測器？當(dāng)前解決方案主要使用的是基于數(shù)據(jù)驅(qū)動(dòng)的策略：收集具有不同條件下的對(duì)象物體的大規(guī)模數(shù)據(jù)集去訓(xùn)練模型，并期望希望最終可學(xué)習(xí)到不變性。
• 但數(shù)據(jù)集真的有可能窮盡所有遮擋嗎？作者認(rèn)為，像類別一樣，遮擋和變形也有長尾分布問題：一些遮擋和變形在訓(xùn)練集是罕見的，甚至不存在。
• 提出了一種解決方案：學(xué)習(xí)一個(gè)對(duì)抗網(wǎng)絡(luò)去生成具有遮擋和變形的樣本。對(duì)抗的目標(biāo)是生成難以被目標(biāo)檢測器分類的樣本檢測網(wǎng)絡(luò)和對(duì)抗網(wǎng)絡(luò)通過聯(lián)合訓(xùn)練得到。實(shí)驗(yàn)結(jié)果表明，與Fast-RCNN方法相比，VOC07的mAP提升了2.3％，VOC2012的mAP提升了2.6％。

引言

• 一種可能的解決方法是通過采樣來生成逼真的圖像。然而，這實(shí)際上不太可行，因?yàn)閳D像生成將需要訓(xùn)練這些罕見樣本。
• 另一個(gè)解決方案是生成所有可能的遮擋和變形，并從中訓(xùn)練物體檢測器。但由于變形和遮擋的搜索空間很大，因此這實(shí)際上也不可行和靈活。
• 事實(shí)上，使用所有樣本通常不是最佳解決方案，而選擇“困難”的正樣本更好。有沒有辦法可以生成具有不同遮擋和變形的困難正樣本且無需生成像素級(jí)別的圖像本身呢？
• 本文訓(xùn)練另一個(gè)網(wǎng)絡(luò)：通過在空間上遮擋某些特征圖區(qū)域或通過操縱特征圖來創(chuàng)建空間變形以形成難樣本的對(duì)抗網(wǎng)絡(luò)。這里的關(guān)鍵思想是在卷積特征空間中創(chuàng)建對(duì)抗性樣本，而不是直接生成像素級(jí)別的數(shù)據(jù)，因?yàn)楹笳呤且粋€(gè)困難得多的問題。

方法

• 1，用于遮擋的Adversarial Spatial Dropout。作者提出使用一種Adversarial Spatial Dropout Network（ASDN）在前景目標(biāo)的深層特征級(jí)別上生成遮擋。在標(biāo)準(zhǔn)的Fast-RCNN中，RoI池層之后獲得每個(gè)前景對(duì)象的卷積特征；使用這些特征作為對(duì)抗網(wǎng)絡(luò)的輸入，ASDN以此生成一個(gè)掩碼，指示要?jiǎng)h除的特征部分（分配0），以使檢測網(wǎng)絡(luò)無法識(shí)別該對(duì)象。

• 2，Adversarial Spatial Transformer Network（ASTN），關(guān)鍵思想是基于STN在特征上產(chǎn)生變形并使檢測網(wǎng)絡(luò)難以識(shí)別。通過與ASTN對(duì)抗，可以訓(xùn)練出更好的檢測網(wǎng)絡(luò)。
• 注：STN（Spatial Transformer Network ）具有三個(gè)組成部分：localisation network, grid generator和sampler。給定特征圖作為輸入，localisation network將估計(jì)變形量（例如，旋轉(zhuǎn)度、平移距離和比例因子）。這些變量將用作grid generator和sampler生成目標(biāo)特征圖的輸入，輸出是變形后的特征圖。

2，2017-CVPR: Perceptual Generative Adversarial Networks for Small Object Detection

• 小物體分辨率低、易受噪聲影響，檢測任務(wù)非常困難?，F(xiàn)有檢測方法通常學(xué)習(xí)多個(gè)尺度上所有目標(biāo)的表征來檢測小對(duì)象。但這種架構(gòu)的性能增益通常限于計(jì)算成本。
• 這項(xiàng)工作將小物體的表征提升為“超分辨”表征，實(shí)現(xiàn)了與大物體相似的特性，因此更具判別性。通過結(jié)合生成對(duì)抗網(wǎng)絡(luò)（Perceptual GAN）模型，縮小小對(duì)象與大對(duì)象之間的表征差異來改善小對(duì)象檢測性能。具體來說，生成器學(xué)習(xí)將小對(duì)象表征轉(zhuǎn)換為與真實(shí)大對(duì)象足夠相似以欺騙對(duì)抗判別器的超分辨表征。同時(shí)，判別器與生成器對(duì)抗以識(shí)別生成的表征，并對(duì)生成器施加條件要求——生成的小對(duì)象表征必須有利于檢測目標(biāo)。

3，2018 Adversarial Occlusion-aware Face Detection

• 有遮擋人臉檢測是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。通過同時(shí)檢測被遮擋的人臉和分割被遮擋區(qū)域，本文引進(jìn)一種對(duì)抗性遮擋人臉檢測器Adversarial Occlusion-aware Face Detector （AOFD）。
• 為了檢測重度遮擋的臉部，設(shè)計(jì)AOFD的出發(fā)點(diǎn)是：（1）有效地利用未被遮擋的面部區(qū)域，以及（2）將遮擋的干擾轉(zhuǎn)化為有益的信息。
• 對(duì)于問題（1），未檢測到的臉通常被遮住了關(guān)鍵特征部分，例如眼睛和嘴巴。一種可行的方法是在訓(xùn)練集中遮蓋臉部的這些獨(dú)特部分，迫使檢測器了解即使暴露區(qū)域較少的人臉是什么樣。為此，以對(duì)抗的方式設(shè)計(jì)了掩模生成器，以為每個(gè)正樣本產(chǎn)生掩模。
• 對(duì)于問題（2），找到常見的遮擋有助于檢測其背后的不完整面孔。因此，引入了“遮擋分割”分支去分割遮擋部分包括頭發(fā)、眼鏡、圍巾、手和其他物體等。由于訓(xùn)練樣本很少，這并非易事。因此，作者標(biāo)記了從互聯(lián)網(wǎng)下載的374個(gè)訓(xùn)練樣本進(jìn)行遮擋分割（該數(shù)據(jù)集記為SFS：small dataset for segmentation）。
• 如圖2所示，在RoI之后添加了一個(gè)遮擋區(qū)域生成器，然后是一個(gè)分類分支和一個(gè)邊界框回歸分支。最后，分割分支負(fù)責(zé)對(duì)每個(gè)邊界框內(nèi)的遮擋區(qū)域進(jìn)行分割。最終將結(jié)合分類，邊界框回歸和遮擋分割的最終結(jié)果輸出。
• 實(shí)驗(yàn)表明，AOFD不僅明顯優(yōu)于MAFA遮擋的人臉檢測數(shù)據(jù)集的最新技術(shù)，而且在用于普通人臉檢測的基準(zhǔn)數(shù)據(jù)集（如FDDB）上也達(dá)到了競爭性的檢測精度。

4，2018-ECCV：SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network

• 目標(biāo)檢測是計(jì)算機(jī)視覺中的一個(gè)基本而重要的問題。盡管在大規(guī)模檢測基準(zhǔn)（例如COCO數(shù)據(jù)集）上對(duì)大/中型對(duì)象已經(jīng)取得了令人印象深刻的結(jié)果，但對(duì)小對(duì)象的性能卻遠(yuǎn)遠(yuǎn)不能令人滿意。原因是小物體缺少足夠的外觀細(xì)節(jié)信息，這些信息可以將它們與背景或類似物體區(qū)分開。
• 為了解決小目標(biāo)檢測問題，提出了一種端到端的多任務(wù)生成對(duì)抗網(wǎng)絡(luò)（MTGAN）。其中生成器是一個(gè)超分辨率網(wǎng)絡(luò)，可以將小的模糊圖像上采樣到精細(xì)圖像，并恢復(fù)詳細(xì)信息以進(jìn)行更精確的檢測。判別器是一個(gè)多任務(wù)網(wǎng)絡(luò)，該網(wǎng)絡(luò)用真實(shí)/虛假分?jǐn)?shù)，對(duì)象類別分?jǐn)?shù)和邊界框回歸量來描述每個(gè)超分辨圖像塊。
• 此外，為了使生成器恢復(fù)更多細(xì)節(jié)以便于檢測，在訓(xùn)練過程中，將判別器中的分類和回歸損失反向傳播到生成器中。
• 在具有挑戰(zhàn)性的COCO數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明了該方法從模糊的小圖像中恢復(fù)清晰的超分辨圖像的有效性，并表明檢測性能（特別是對(duì)于小型物體）比最新技術(shù)有所提高。

小物體檢測系統(tǒng)（SOD-MTGAN）：

• （A）將圖像輸入網(wǎng)絡(luò)。
• （B）基線檢測器可以是任何類型的檢測器（例如Faster RCNN 、FPN或SSD），用于從輸入圖像中裁剪正（即目標(biāo)對(duì)象）和負(fù)（即背景）例，以訓(xùn)練生成器和判別器網(wǎng)絡(luò)，或生成ROIs進(jìn)行測試。
• （C）正例和負(fù)例（或ROI）是由現(xiàn)成的檢測器生成的。
• （D）生成器子網(wǎng)重建得到低分辨率輸入圖像的超分辨率版本（4倍放大）；判別器網(wǎng)絡(luò)將GT與生成的高分辨率圖像區(qū)分開，同時(shí)預(yù)測對(duì)象類別并回歸對(duì)象位置（判別器網(wǎng)絡(luò)可以使用任何典型的體系結(jié)構(gòu)，例如AlexNet、VGGNet、ResNet作為骨干網(wǎng)，在實(shí)驗(yàn)中使用ResNet-50或ResNet-101。
  
  

下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：leetcode?開源書

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！


下載3 CVPR2020

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文
個(gè)人微信（如果沒有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱

覺得不錯(cuò)就點(diǎn)亮在看吧