端到端半監(jiān)督目標(biāo)檢測框架

簡單介紹一下我們CVPR 2021的一項(xiàng)關(guān)于半監(jiān)督目標(biāo)檢測方面的工作：

Instant-Teaching: An End-to-End Semi-Supervised Object Detection Framework

論文鏈接：https://arxiv.org/pdf/2103.11402.pdf

1. 背景

1.1 為什么需要半監(jiān)督學(xué)習(xí)

這些年，數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)技術(shù)在各種視覺任務(wù)中（圖像分類、目標(biāo)檢測，實(shí)例分割，視頻檢測等）大展身手，屠榜各類benchmark。然而，在實(shí)際落地這些深度學(xué)習(xí)技術(shù)時(shí)，我們會發(fā)現(xiàn)，模型的性能嚴(yán)重依賴帶標(biāo)注的訓(xùn)練數(shù)據(jù)。比如，在不同場景上線相同功能的檢測模型時(shí)，往往需要花費(fèi)較大代價(jià)獲取足夠數(shù)量的標(biāo)注數(shù)據(jù)來提高模型在相應(yīng)場景下的性能。

模型對數(shù)據(jù)的依賴主要體現(xiàn)在以下兩個(gè)方面：

1. 對應(yīng)用場景一致數(shù)據(jù)的依賴：以人體檢測模型為例，在室外數(shù)據(jù)上訓(xùn)練的檢測器，在室內(nèi)場景的檢測效果往往差強(qiáng)人意；在白天數(shù)據(jù)上訓(xùn)練的檢測器，在夜晚場景下的效果通常也不會很好。
2. 對數(shù)據(jù)規(guī)模的依賴: 大數(shù)據(jù)集訓(xùn)練的模型往往比小數(shù)據(jù)集的精度要高。

雖然有標(biāo)注數(shù)據(jù)的獲取成本比較高，但是我們可以非常容易的獲取海量的無標(biāo)注數(shù)據(jù)，如何有效利用這些無標(biāo)注數(shù)據(jù)來提高模型的性能，降低模型對標(biāo)注數(shù)據(jù)的依賴？半監(jiān)督學(xué)習(xí)正是研究如何高效利用無標(biāo)注數(shù)據(jù)的一個(gè)熱門研究方向。

1.2 現(xiàn)有的檢測半監(jiān)督工作

目前，最先進(jìn)的檢測半監(jiān)督方面的工作，主要是基于self-training以及一致性約束。下面分別介紹其中的代表性工作。

1.2.1 基于一致性約束的方案

CSD[1]是當(dāng)前基于一致性約束的檢測半監(jiān)督方面的代表性工作。通過對未標(biāo)注數(shù)據(jù)做弱增強(qiáng)(flip)，組成pair對輸入給檢測模型，然后對模型預(yù)測輸出的pair結(jié)果進(jìn)行一致性約束，從而盡可能利用到這些未標(biāo)注數(shù)據(jù)。

1.2.2 基于self-training的方案

STAC[2]是當(dāng)前基于self-training的檢測半監(jiān)督方面的代表性工作。首先所有標(biāo)注數(shù)據(jù)訓(xùn)練一個(gè)Teacher模型，然后在所有未標(biāo)注數(shù)據(jù)上做Inference，并通過NMS和卡閾值的方式制備pseudo labels作為未標(biāo)注數(shù)據(jù)的ground truth，然后將所有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)同時(shí)加入訓(xùn)練得到最終的模型，該方法簡單有效，是當(dāng)前檢測半監(jiān)督方面的SOTA工作。

2. 我們的方案: Instant-Teaching

2.1 Motivation

如下圖所示，我們提出了端到端的檢測半監(jiān)督方案Instant-Teaching和增強(qiáng)版Instant-Teaching*:

我們改進(jìn)的motivation主要有三點(diǎn)：

1. 我們發(fā)現(xiàn)，現(xiàn)有的檢測半監(jiān)督方面的SOTA方案STAC，其偽標(biāo)注pseudo labels通過離線獲得，并且在訓(xùn)練過程中是不更新的。這樣有一個(gè)問題，當(dāng)訓(xùn)練的半監(jiān)督模型的精度已經(jīng)超過生成pseudo labels的模型時(shí)，繼續(xù)使用不更新的pseudo labels，會限制半監(jiān)督模型精度的進(jìn)一步提升。
2. data augmentations 在半監(jiān)督學(xué)習(xí)中占據(jù)非常重要的位置，如何更有效的針對半監(jiān)督學(xué)習(xí)設(shè)計(jì)更適合的數(shù)據(jù)增強(qiáng)方式？
3. pseudo labels中容易存在錯(cuò)誤label，尤其是在訓(xùn)練初期，并且這種錯(cuò)誤會在半監(jiān)督訓(xùn)練中累積，這種現(xiàn)象稱為confirmation bias問題，如何設(shè)計(jì)矯正策略去盡可能修正這些錯(cuò)誤的pseudo labels？

針對這三個(gè)問題，我們的檢測半監(jiān)督方案如下:

• 針對問題1，我們采用在線偽標(biāo)注更新的方式。隨著模型訓(xùn)練收斂，模型的精度提升的同時(shí)，在線生成的pseudo labels的質(zhì)量也會得到及時(shí)的提高，從而反過來進(jìn)一步促進(jìn)模型的學(xué)習(xí)。
• 為了更有效的對unlabel images 進(jìn)行數(shù)據(jù)增強(qiáng)，我們采用在labeled images 和 unlabeled images 之間進(jìn)行Mixup和Mosaic增強(qiáng)。
• 針對confirmation bias 問題，我們提出了Co-rectify的方案，即同時(shí)訓(xùn)練兩個(gè)模型，兩個(gè)模型分別為彼此檢查和糾正pseudo labels，從而有效抑制錯(cuò)誤預(yù)測的累積，提高模型精度。值得注意的是，雖然在訓(xùn)練時(shí)，需要同時(shí)訓(xùn)練兩個(gè)模型，但是infernece時(shí)，只需要使用單個(gè)模型即可，因此，不影響模型推理的速度。

2.2 主要實(shí)驗(yàn)結(jié)果

*更多實(shí)驗(yàn)驗(yàn)證，歡迎參考我們的論文原文：https://arxiv.org/pdf/2103.11402.pdf

[1]Consistency-based Semi-supervised Learning for Object Detection

[2]A Simple Semi-Supervised Learning Framework for Object Detection