計算機(jī)視覺中的半監(jiān)督學(xué)習(xí)

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

計算機(jī)視覺的半監(jiān)督學(xué)習(xí)方法在過去幾年得到了快速發(fā)展。目前最先進(jìn)的方法是在結(jié)構(gòu)和損失函數(shù)方面對之前的工作進(jìn)行了簡化，以及引入了通過混合不同方案的混合方法。

在該半監(jiān)督公式中，對有標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，并對沒有標(biāo)簽的數(shù)據(jù)進(jìn)行偽標(biāo)簽預(yù)測。然后對模型同時進(jìn)行 ground truth 標(biāo)簽和偽標(biāo)簽的訓(xùn)練。

a. 偽標(biāo)簽

Dong-Hyun Lee^[1]在 2013 年提出了一個非常簡單有效的公式 —— 偽標(biāo)簽。

這個想法是在一批有標(biāo)簽和沒有標(biāo)簽的圖像上同時訓(xùn)練一個模型。在使用交叉熵?fù)p失的情況下，以普通的監(jiān)督的方式對有標(biāo)簽圖像進(jìn)行訓(xùn)練。利用同一模型對一批沒有標(biāo)簽的圖像進(jìn)行預(yù)測，并使用置信度最大的類作為偽標(biāo)簽。然后，通過比較模型預(yù)測和偽標(biāo)簽對沒有標(biāo)簽的圖像計算交叉熵?fù)p失。

總的 loss 是有標(biāo)簽和沒有標(biāo)簽的 loss 的加權(quán)和。

為了確保模型已經(jīng)從有標(biāo)簽的數(shù)據(jù)中學(xué)到了足夠的知識，在最初的 100 個 epoch 中，αt 被設(shè)置為 0。然后逐漸增加到 600 個 epochs，然后保持不變。

b. Noisy Student

Xie 等^[2]在 2019 年提出了一種受知識蒸餾啟發(fā)的半監(jiān)督方法“Noisy Student”。

關(guān)鍵的想法是訓(xùn)練兩種不同的模型，即“Teacher”和“Student”。Teacher 模型首先對有標(biāo)簽的圖像進(jìn)行訓(xùn)練，然后對沒有標(biāo)簽的圖像進(jìn)行偽標(biāo)簽推斷。這些偽標(biāo)簽可以是軟標(biāo)簽，也可以通過置信度最大的類別轉(zhuǎn)換為硬標(biāo)簽。然后，將有標(biāo)簽和沒有標(biāo)簽的圖像組合在一起，并根據(jù)這些組合的數(shù)據(jù)訓(xùn)練一個 Student 模型。使用 RandAugment 進(jìn)行圖像增強(qiáng)作為輸入噪聲的一種形式。此外，模型噪聲，如 Dropout 和隨機(jī)深度也用到了 Student 模型結(jié)構(gòu)中。

一旦學(xué)生模型被訓(xùn)練好了，它就變成了新的老師，這個過程被重復(fù)三次。

這種模式使用的理念是，即使在添加了噪聲之后，對未標(biāo)記圖像的模型預(yù)測也應(yīng)該保持不變。我們可以使用輸入噪聲，如圖像增強(qiáng)和高斯噪聲。噪聲也可以通過使用 Dropout 引入到結(jié)構(gòu)中。

a. π-model

該模型由Laine 等^[3]在 ICLR 2017 年的一篇會議論文中提出。

關(guān)鍵思想是為標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)創(chuàng)建兩個隨機(jī)的圖像增強(qiáng)。然后，使用帶有 dropout 的模型對兩幅圖像的標(biāo)簽進(jìn)行預(yù)測。這兩個預(yù)測的平方差被用作一致性損失。對于標(biāo)記了的圖像，我們也同時計算交叉熵?fù)p失?？倱p失是這兩個損失項的加權(quán)和。權(quán)重 w(t)用于決定一致性損失在總損失中所占的比重。

b. Temporal Ensembling

該方法也是由Laine 等^[4]在同一篇論文中提出的。它通過利用預(yù)測的指數(shù)移動平均(EMA)來修正模型。

關(guān)鍵思想是對過去的預(yù)測使用指數(shù)移動平均作為一個觀測值。為了獲得另一個觀測值，我們像往常一樣對圖像進(jìn)行增強(qiáng)，并使用帶有 dropout 的模型來預(yù)測標(biāo)簽。采用當(dāng)前預(yù)測和 EMA 預(yù)測的平方差作為一致性損失。對于標(biāo)記了的圖像，我們也計算交叉熵?fù)p失。最終損失是這兩個損失項的加權(quán)和。權(quán)重 w(t)用于決定稠度損失在總損失中所占的比重。

c. Mean Teacher

該方法由Tarvainen 等^[5]提出。泛化的方法類似于 Temporal Ensembling，但它對模型參數(shù)使用指數(shù)移動平均(EMA)，而不是預(yù)測值。

關(guān)鍵思想是有兩種模型，稱為“Student”和“Teacher”。Student 模型是有 dropout 的常規(guī)模型。教師模型與學(xué)生模型具有相同的結(jié)構(gòu)，但其權(quán)重是使用學(xué)生模型權(quán)重的指數(shù)移動平均值來設(shè)置的。對于已標(biāo)記或未標(biāo)記的圖像，我們創(chuàng)建圖像的兩個隨機(jī)增強(qiáng)的版本。然后，利用學(xué)生模型預(yù)測第一張圖像的標(biāo)簽分布。利用教師模型對第二幅增強(qiáng)圖像的標(biāo)簽分布進(jìn)行預(yù)測。這兩個預(yù)測的平方差被用作一致性損失。對于標(biāo)記了的圖像，我們也計算交叉熵?fù)p失。最終損失是這兩個損失項的加權(quán)和。權(quán)重 w(t)用于決定稠度損失在總損失中所占的比重。

d. Virtual Adversarial Training

該方法由Miyato 等^[6]提出。利用對抗性攻擊的概念進(jìn)行一致性正則化。

關(guān)鍵的想法是生成一個圖像的對抗性變換，著將改變模型的預(yù)測。為此，首先，拍攝一幅圖像并創(chuàng)建它的對抗變體，使原始圖像和對抗圖像的模型輸出之間的 KL 散度最大化。

然后按照前面的方法進(jìn)行。我們將帶標(biāo)簽/不帶標(biāo)簽的圖像作為第一個觀測，并將在前面步驟中生成的與之對抗的樣本作為第二個觀測。然后，用同一模型對兩幅圖像的標(biāo)簽分布進(jìn)行預(yù)測。這兩個預(yù)測的 KL 散度被用作一致性損失。對于標(biāo)記了的圖像，我們也計算交叉熵?fù)p失。最終損失是這兩個損失項的加權(quán)和。采用加權(quán)偏置模型來確定一致性損失在整體損失中所占的比重。

e. Unsupervised Data Augmentation

該方法由Xie 等^[7]提出，適用于圖像和文本。在這里，我們將在圖像的上下文中理解該方法。

關(guān)鍵思想是使用自動增強(qiáng)創(chuàng)建一個增強(qiáng)版本的無標(biāo)簽圖像。然后用同一模型對兩幅圖像的標(biāo)簽進(jìn)行預(yù)測。這兩個預(yù)測的 KL 散度被用作一致性損失。對于有標(biāo)記的圖像，我們只計算交叉熵?fù)p失，不計算一致性損失。最終的損失是這兩個損失項的加權(quán)和。權(quán)重 w(t)用于決定稠度損失在總損失中所占的比重。

a. MixMatch

這種整體方法是由Berthelot 等^[8]提出的。

為了理解這個方法，讓我們看一看每個步驟。

i. 對于標(biāo)記了的圖像，我們創(chuàng)建一個增強(qiáng)圖像。對于未標(biāo)記的圖像，我們創(chuàng)建 K 個增強(qiáng)圖像，并對所有的 K 個圖像進(jìn)行模型預(yù)測。然后，對預(yù)測進(jìn)行平均以及溫度縮放得到最終的偽標(biāo)簽。這個偽標(biāo)簽將用于所有 k 個增強(qiáng)。

ii. 將增強(qiáng)的標(biāo)記了的圖像和未標(biāo)記圖像進(jìn)行合并，并對整組圖像進(jìn)行打亂。然后取該組的前 N 幅圖像為 W~L~，其余 M 幅圖像為 W~U~。

iii. 現(xiàn)在，在增強(qiáng)了的有標(biāo)簽的 batch 和 W~L~之間進(jìn)行 Mixup。同樣，對 M 個增強(qiáng)過的未標(biāo)記組和 W~U~中的圖像和進(jìn)行 mixup。因此，我們得到了最終的有標(biāo)簽組和無標(biāo)簽組。

iv. 現(xiàn)在，對于有標(biāo)簽的組，我們使用 ground truth 混合標(biāo)簽進(jìn)行模型預(yù)測并計算交叉熵?fù)p失。同樣，對于沒有標(biāo)簽的組，我們計算模型預(yù)測和計算混合偽標(biāo)簽的均方誤差(MSE)損失。對這兩項取加權(quán)和，用 λ 加權(quán) MSE 損失。

b. FixMatch

該方法由Sohn 等^[9]提出，結(jié)合了偽標(biāo)簽和一致性正則化，極大地簡化了整個方法。它在廣泛的基準(zhǔn)測試中得到了最先進(jìn)的結(jié)果。

如我們所見，我們在有標(biāo)簽圖像上使用交叉熵?fù)p失訓(xùn)練一個監(jiān)督模型。對于每一幅未標(biāo)記的圖像，分別采用弱增強(qiáng)和強(qiáng)增強(qiáng)方法得到兩幅圖像。弱增強(qiáng)的圖像被傳遞給我們的模型，我們得到預(yù)測。把置信度最大的類的概率與閾值進(jìn)行比較。如果它高于閾值，那么我們將這個類作為標(biāo)簽，即偽標(biāo)簽。然后，將強(qiáng)增強(qiáng)后的圖像通過模型進(jìn)行分類預(yù)測。該預(yù)測方法與基于交叉熵?fù)p失的偽標(biāo)簽的方法進(jìn)行了比較。把兩種損失合并來優(yōu)化模型。

下面是對上述所有方法之間差異的一個高層次的總結(jié)。

為了評估這些半監(jiān)督方法的性能，通常使用以下數(shù)據(jù)集。作者通過僅使用一小部分(例如：(40/250/4000/10000 個樣本)，其余的作為未標(biāo)記的數(shù)據(jù)集。

我們得到了計算機(jī)視覺半監(jiān)督方法這些年是如何發(fā)展的概述。這是一個非常重要的研究方向，可以對該行業(yè)產(chǎn)生直接影響。