【GiantPandaCV導(dǎo)語】今天帶來的是nips2020上關(guān)于生成對抗網(wǎng)絡(luò)中數(shù)據(jù)增廣的另一篇文章。該文章的巧思比上一篇更精彩。上篇文章在生成對抗網(wǎng)絡(luò)中的數(shù)據(jù)增廣：一種可微分的數(shù)據(jù)增廣方法

NIPS 2020 - ?Training Generative Adversarial Networks with Limited Data

1. 摘要：

和昨天的推文一樣，同樣是一篇研究在少量樣本下，訓(xùn)練生成對抗網(wǎng)絡(luò)的論文。這篇文章和昨天推文（加一個link）的假設(shè)類似：在數(shù)據(jù)不足的情況下，生成對抗網(wǎng)絡(luò)中的判別器過擬合了，導(dǎo)致訓(xùn)練崩了(Diverge)。本文提出了一種自適應(yīng)的判別器數(shù)據(jù)增廣策略，顯著穩(wěn)定了在少量樣本下的生成對抗網(wǎng)絡(luò)的圖像生成過程。本文同樣是一種即插即用的方法，不需要對網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等進行修改，并且也可以在基于遷移學(xué)習(xí)的生成對抗網(wǎng)絡(luò)任務(wù)中使用。

2. Introduction

現(xiàn)今大量的生成對抗網(wǎng)絡(luò)的令人激動的結(jié)果看起來都是由于網(wǎng)絡(luò)上大量的圖像數(shù)據(jù)訓(xùn)練得來的。但是在很多情況下，由于隱私、版權(quán)等原因，本文無法得到數(shù)量巨大的高質(zhì)量圖片集。尤其在將生成對抗網(wǎng)絡(luò)應(yīng)用到一個新的領(lǐng)域（無任何其他可供參考的數(shù)據(jù)集）的時候，本文更難得到大量高質(zhì)量數(shù)據(jù)集。

在小數(shù)目上的數(shù)據(jù)集上訓(xùn)練生成對抗網(wǎng)絡(luò)的難點在于：判別器網(wǎng)絡(luò)很容易在訓(xùn)練數(shù)據(jù)集上過擬合。過擬合之后的判別器網(wǎng)絡(luò)反向傳播給生成器的信息無用，導(dǎo)致整個網(wǎng)絡(luò)的訓(xùn)練崩了。在基本上所有的深度學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集增廣方法是一種避免網(wǎng)絡(luò)過擬合的標(biāo)準(zhǔn)方法。但是這些圖像增廣應(yīng)用于生成對抗網(wǎng)絡(luò)中，會導(dǎo)致網(wǎng)絡(luò)傾向于學(xué)習(xí)網(wǎng)絡(luò)的增廣后的分布，本文把這種現(xiàn)象叫做’Augmentation Leak'。

本文探究了如何使用一系列的圖像增廣方法來防止判別器的過擬合現(xiàn)象，同時應(yīng)用這些圖像增廣方法并不會造成增廣后的圖像引發(fā)的生成對抗網(wǎng)絡(luò)的Augmentation Leak現(xiàn)象。本文首先對于Augmentation Leak進行了一個全面的分析，接著設(shè)計了一個廣泛的適用于GAN網(wǎng)絡(luò)的數(shù)據(jù)增廣操作集合，以及一個自適應(yīng)的增廣操作控制策略。

3. GAN中的過擬合現(xiàn)象

要想科學(xué)的研究生成對抗網(wǎng)絡(luò)中的過擬合現(xiàn)象，本文首先研究了用什么數(shù)量規(guī)模的訓(xùn)練數(shù)據(jù)集能夠支持GAN的訓(xùn)練。本文通過對大型GAN數(shù)據(jù)集（FFHQ和LSUN CAT）進行比例抽樣，探究生成圖像的質(zhì)量變化情況。這里作者采用StyleGAN2作為Baseline模型，理由如下：StyleGAN2模型生成了更可預(yù)測的結(jié)果，并且在訓(xùn)練時，生成樣本的偏差更小。對于Baseline模型，作者隨機抽樣不同的訓(xùn)練集生成新的子訓(xùn)練集。在FFHQ數(shù)據(jù)集的操作上，作者將訓(xùn)練集降采樣到256*256的尺寸，并且設(shè)計了一個更輕量化的網(wǎng)絡(luò)設(shè)置，從而實現(xiàn)了在DGX-1服務(wù)器上4.6倍的訓(xùn)練加速。作者通過計算5W張生成圖像的FID數(shù)值以及原始訓(xùn)練集的樣本的FID數(shù)據(jù)作為質(zhì)量評估指標(biāo)。

圖一展示了本文的對比實驗結(jié)果：

1. 圖1(a)中展示了不同規(guī)模的FFHQ數(shù)據(jù)集子集的生成圖像結(jié)果。注意(a)圖中的黑色點，該點代表生成對抗網(wǎng)絡(luò)生成的圖像質(zhì)量最優(yōu)。本文可以看出：訓(xùn)練數(shù)據(jù)越少，網(wǎng)絡(luò)的生成圖像質(zhì)量越差；訓(xùn)練時故居越少，生成對抗網(wǎng)絡(luò)的崩潰點來的越早。
2. 圖1(b,c)中展示了訓(xùn)練過程中判別器輸出的結(jié)果分布，可以看出：本文可以看到，網(wǎng)絡(luò)的初始階段，判別器的輸出并沒有出現(xiàn)明顯的誤差，伴隨著訓(xùn)練的深入，訓(xùn)練集和驗證集的overlap越拉越大，這代表網(wǎng)絡(luò)出現(xiàn)了明顯的分布差距。這代表判別器此時已經(jīng)出現(xiàn)了很嚴(yán)重的過擬合現(xiàn)象。橫向比較b,c也可以看出，訓(xùn)練數(shù)據(jù)越少，過擬合現(xiàn)象越明顯。

3.1 隨機判別器增廣（Stochastic Discriminator Augmentation）

根據(jù)[12]所述：任何對于訓(xùn)練集的增廣操作都會反映到生成圖像上。[43]的工作提出了一個Balanced Consistency Regularization, bCR正則化手段來防止”Augmentation Leakage’。這種consistency regularization方法是希望兩組不同的圖像增廣方法施加在同樣的輸入圖片是，應(yīng)該得到相同的輸出。該方法在判別器的損失中施加了consistency regularization項，強制判別器保持真實圖像和生成圖像的判斷一致性。但這里需要注意，這里的正則化項只施加在判別器，沒有施加在生成器上。也就是說：這個consistency regularization項僅僅是讓判別器更加魯棒，讓判別器不受圖像增廣操作的影響（類似昨天推文（加一個link）中防止判別器僅僅識別出進行了圖像增廣后的圖像）。但是，在達到以上目的是，也悄悄打開了Augmentation Leaks的窗口，因為 ：生成器將毫無忌憚的生成與數(shù)據(jù)增廣后數(shù)據(jù)相同的生成圖片。

本文的方法與bCR方法類似，本文同樣是對輸入判別器的圖像施加了一系列的圖像增廣操作。但是：與其簡單的添加一個獨立的CR loss項，本文僅僅采用增廣后的圖像進行判別器的評估，并且在訓(xùn)練生成器時，同樣采用相同的方法進行生成器的訓(xùn)練。這種方法直接了當(dāng)，我們稱之為：Stochastic Discriminator Augmentation。

這種方法看上去非常的簡單粗暴，而且讓人懷疑：這種方法都沒有讓判別器見到真實的訓(xùn)練圖像，你確定這玩意能很好地指導(dǎo)生成器生成正確的圖像嗎？為了打消讀者們的疑慮，作者首先針對于這種情況進行了實驗，驗證了這種方法不會存在Augmentation Leak，并且搭建一個完全的數(shù)據(jù)pipeline。

3.2 設(shè)計一種不會產(chǎn)生泄露的數(shù)據(jù)增廣方法——增加原始圖片出現(xiàn)的概率

對判別器的數(shù)據(jù)增廣方法相當(dāng)于施加了扭曲，目的就是打破判別器的過擬合傾向，讓生成器不斷地生成有效的訓(xùn)練樣本，直到判別器無法區(qū)分為止。文獻[4]指出：在錯誤的度量下進行GAN網(wǎng)絡(luò)的訓(xùn)練，訓(xùn)練得到的網(wǎng)絡(luò)隱式地消除了損壞，并且找到了正確的分布（只要影像數(shù)據(jù)的損壞過程能夠由一個數(shù)據(jù)層面的可逆的概率分布變換表示即可）。這一類的數(shù)據(jù)增廣方法在本文中也稱之為無泄漏風(fēng)險(Non-leaking) 的數(shù)據(jù)增廣操作。這一系列的可逆變換的功能在于：他們可以通過觀測數(shù)據(jù)增廣后的集合來得出有關(guān)基礎(chǔ)集合（未增廣）的相等性或不等性。這里需要注意的是：可逆變換并不代表我們需要對增廣后的圖像進行逆變換將其變回原始圖片。一方面：以將圖片旋轉(zhuǎn)90度為例，這種圖像增廣方法看似極端，但是對于概率分布來說，這種增廣方法是可逆的。但是需要注意：如果我們對于不同種旋轉(zhuǎn)操作集{0度，90度，180度，270度}進行均勻抽樣選擇一項進行數(shù)據(jù)增強，此時增廣方法就是不可逆的（因為你不知道旋轉(zhuǎn)了多少度數(shù)，不知道用哪種逆變換合適）。

但是，這種不可逆的數(shù)據(jù)增廣在執(zhí)行圖像增強的概率小于1時會退化成可逆的變換。當(dāng)數(shù)據(jù)增廣的執(zhí)行概率小于1時，相當(dāng)于增加了原始旋轉(zhuǎn)變換操作集中不進行圖像變換的操作被選擇的概率。此時，增廣后的數(shù)據(jù)分布將會和原始數(shù)據(jù)分布保持一致。相似的，很多變換都可以采用相同的策略(提升原始圖像出現(xiàn)的概率)，進而避免網(wǎng)絡(luò)無法獲知真實的數(shù)據(jù)分布規(guī)律。

從圖3中可以看出實際情況中，不同數(shù)據(jù)增廣過程以及數(shù)據(jù)增廣過程實施的概率對生成對抗網(wǎng)絡(luò)最終生成圖片的影響。我們可以看出：尺度變換是一種安全的數(shù)據(jù)變換方法，數(shù)據(jù)增廣實施的概率不會影響最終重建的質(zhì)量；相比之下，對圖片進行90度的反轉(zhuǎn)操作是一種較為危險的數(shù)據(jù)增廣方法，在實施操作的概率較大時，網(wǎng)絡(luò)的性能會出現(xiàn)明顯的下降，而伴隨著這種數(shù)據(jù)增廣操作的應(yīng)用比例的減小，網(wǎng)絡(luò)的性能逐漸恢復(fù)；圖像的色彩變化對生成對抗網(wǎng)絡(luò)的影響更加明顯，但是我們也可以發(fā)現(xiàn)：通過調(diào)節(jié)實施變換的比例，能夠有效提升網(wǎng)絡(luò)性能。根據(jù)以上實驗結(jié)論可知：把實施“不安全”圖像增廣操作的概率控制在0.8以下，能夠有效提升網(wǎng)絡(luò)的性能，避免出現(xiàn)Augmentation leak。

3.3 本文提出的數(shù)據(jù)增廣流水線

本文先選擇最廣泛的數(shù)據(jù)增廣操作，然后根據(jù)實驗結(jié)果逐漸減小數(shù)據(jù)增廣操作的候選范圍。本文采用RandAugment[9]操作中的數(shù)據(jù)增廣方法，選取了18種數(shù)據(jù)變換方法，其中可以分為6大類：1. 像素操作：圖像的水平翻轉(zhuǎn)，90度旋轉(zhuǎn)，整數(shù)平移；2. 更一般的幾何變換；3. 顏色變換；4. 圖像空間濾波；5. 圖像加性噪聲；6. Cutout。這里的數(shù)據(jù)增廣不光應(yīng)用于判別器的訓(xùn)練，也應(yīng)用于生成器的訓(xùn)練。因此，本文需要這些變換是可區(qū)分的。

在訓(xùn)練階段，我們將每一個輸入判別器的圖像施加了一組預(yù)先定義的有固定順序的圖像變換方法。其中這些變換的應(yīng)用概率保持在[0,1]之間。對于變換集中的所有變換方式，我們都采用相同的變換概率p。這里我們對于每一個mini-batch的圖片實施的變換集的概率進行隨機變化。

根據(jù)3.2部分的理論，我們只要保持實際的概率在一定范圍內(nèi)，就不會影響網(wǎng)絡(luò)對實際概率的學(xué)習(xí)。同時根據(jù)圖2(c)鐘的圖片所示，選取圖像增廣操作的概率越低，真實圖片出現(xiàn)的概率越大，網(wǎng)絡(luò)也就更不容易被圖像增廣后的圖片干擾。

本文在圖4中展示了在不同規(guī)模的數(shù)據(jù)集情況下，不同的數(shù)據(jù)增廣方法、不同的數(shù)據(jù)增廣操作集被選取概率對生成對抗網(wǎng)絡(luò)性能的影響。根據(jù)實驗結(jié)果可以看出，在少量數(shù)據(jù)集的情況下，數(shù)據(jù)增廣操作的性能提升很大。二在數(shù)據(jù)集規(guī)模逐漸增大時，數(shù)據(jù)增廣的效果反而不夠明顯。同時我們還發(fā)現(xiàn)：在不同規(guī)模的數(shù)據(jù)集上，采用不同的數(shù)據(jù)增廣方法給網(wǎng)絡(luò)帶來的整體增益并不一致。根據(jù)以上結(jié)果，本文最終選擇在模型設(shè)計上，僅僅采用“ 像素操作：圖像的水平翻轉(zhuǎn)，90度旋轉(zhuǎn)，整數(shù)平移”、“幾何變換”、“顏色變換”。從圖4(d)同樣可以看出：較強的數(shù)據(jù)增廣方法（比如CutOut、幾何變換）能夠有效減少過擬合程度，但是也同樣會明顯減慢網(wǎng)絡(luò)的收斂速度。

同時，在實際情況下，對于數(shù)據(jù)增強概率p這個對數(shù)據(jù)集敏感、需要經(jīng)過復(fù)雜的調(diào)參或是耗時的Grid-Search方法的參數(shù)定義過程，依靠固定的p并不是最優(yōu)選擇，因此本文進一步考慮提出自適應(yīng)判別器數(shù)據(jù)增強策略。

4. 自適應(yīng)判別器數(shù)據(jù)增強策略

自適應(yīng)的選擇判別器數(shù)據(jù)增強的策略，主要就是需要找到一個調(diào)節(jié)概率p的參數(shù)量，通過不同的過擬合程度動態(tài)進行調(diào)節(jié)。

如圖1所示，衡量判別器的過擬合程度可以通過對單獨驗證集進行判斷。當(dāng)網(wǎng)絡(luò)出現(xiàn)了過擬合時，驗證集越來越表現(xiàn)得像生成器的圖像。通過這種現(xiàn)象，可以明確量化出網(wǎng)絡(luò)的過擬合程度，但是這種現(xiàn)象需要對于本就不多的訓(xùn)練集再進行一次劃分，本身就給不夠充足的訓(xùn)練集又來了一次致命打擊。我們同時還可以看到，StyleGAN2中使用了非飽和損失，判別器輸出的數(shù)值在網(wǎng)絡(luò)接近過擬合時會出現(xiàn)生成圖像與真實圖像在0附近呈現(xiàn)對稱分布。

這里我們讓：訓(xùn)練集D_train，驗證集D_validation和生成圖像D_generated表示判別器的輸出，以及它們在N個連續(xù)小批處理中的平均值E[?]。此時，我們可以建模圖1中(b)的現(xiàn)象：

根據(jù)公式：r=0時代表：網(wǎng)絡(luò)沒有出現(xiàn)過擬合現(xiàn)象；r=1時代表：網(wǎng)絡(luò)完全過擬合。

r_v計算的是訓(xùn)練集與生成圖像的驗證集的輸出；由于其假設(shè)存在單獨的驗證集，因此我們只將其作為一種比較方法。

r_t用來估計訓(xùn)練集中獲得判別器正確判定的部分。

本文在訓(xùn)練的一開始，將p初始化為0，并且根據(jù)所選擇的描述過擬合程度的描述子，每四個mini-batch更新一次r。如果對應(yīng)指標(biāo)r表明過擬合程度過高或者過擬合程度過小，那么對應(yīng)的調(diào)節(jié)控制圖像增強的p的數(shù)值。通過調(diào)節(jié)p的固定量，p可以從0快速地上升到1。但是當(dāng)數(shù)據(jù)量很大時，我們都會將p強制設(shè)為0.這種通過網(wǎng)絡(luò)過擬合程度動態(tài)調(diào)節(jié)對應(yīng)數(shù)據(jù)增強過程的操作就成為自適應(yīng)判別器增強，即Adaptive Discriminator Augmentation (ADA)。

如圖5所示。在圖5(a), (b)中，我們通過展示r_v與r_t不同取值對網(wǎng)絡(luò)性能的變化，發(fā)現(xiàn)網(wǎng)絡(luò)可以自動調(diào)節(jié)圖像增強的強度，進而有效的抑制了為網(wǎng)絡(luò)的過擬合現(xiàn)象。并且我們可以看到，我們的動態(tài)變化p的值明顯好于網(wǎng)格搜索出的變量值。圖5(c)中展示伴隨著訓(xùn)練的不斷進行，自適應(yīng)調(diào)節(jié)的參數(shù)P也逐漸遞增，這和網(wǎng)絡(luò)的過擬合風(fēng)險保持一致。圖(d)中展示了：自適應(yīng)的方法在衡量過擬合成都市，遠遠好于網(wǎng)格搜索搜出的結(jié)果（在網(wǎng)絡(luò)訓(xùn)練的開始，數(shù)據(jù)增廣用的太猛；在網(wǎng)絡(luò)的后期，數(shù)據(jù)增廣又使用的不夠）。

圖6展示了：我們使用和圖1中相同的實驗設(shè)置，僅僅采用了ADA策略，我們的數(shù)據(jù)在不同規(guī)模的數(shù)據(jù)集上都取得了更好的收斂結(jié)果，遠好于圖1時實驗的結(jié)果。對比圖6(c)中我們可以看到，采用了ADA策略的判別器更加關(guān)注于符合語義的細(xì)節(jié)部分。這證明我們的方法的確有效。

5. 實驗評估

本文在FFHQ數(shù)據(jù)集和LSUN Cat數(shù)據(jù)集上進行了評估。本文同時還比較了從頭訓(xùn)練的生成對抗網(wǎng)絡(luò)和基于預(yù)訓(xùn)練模型的生成對抗網(wǎng)絡(luò)不同的生成效果。

5.1 從頭訓(xùn)練的GAN

從上圖中我們可以看到，在小數(shù)據(jù)量的情況下，本文的ADA方法在數(shù)據(jù)集數(shù)量極其小時，效果明顯。但是我們同時還可以看到bCR方法在數(shù)據(jù)量適中的情況下，效果也較好。同時還帶來了一個有意思的結(jié)論：我們同樣可以將ADA與bCR方法相加起來，進而能夠達到更優(yōu)的結(jié)果。

在圖8中我們也可以看到，提出的方法在數(shù)據(jù)集不足的情況下，明顯好于其他的對比方法，并且可以說是大幅度優(yōu)于這些方案。證明本文提出的這一方案是有效的。

5.2 基于預(yù)訓(xùn)練模型的GAN

同樣在遷移學(xué)習(xí)的方案上，我們的方法也取得了明顯更優(yōu)的效果，大大增強了生成對抗網(wǎng)絡(luò)的性能，并且避免了判別器的過擬合問題，Excited！

5.3 小數(shù)據(jù)集上的圖像生成

本文還進一步提出了一個受限制大小的訓(xùn)練數(shù)據(jù)集METFACES，其中包括了1336張高質(zhì)量的人臉圖片。同時本文還采用了醫(yī)學(xué)數(shù)據(jù)集BRECAHAD、AFHQ數(shù)據(jù)集進行了圖像生成實驗。同時，本文甚至還使用了CIFAR-50數(shù)據(jù)集進行了圖像生成的實驗。

通過生成結(jié)果可以看出，本文提出的方法真的牛逼，生成出來的圖片非常逼真。

6. 參考文獻

[4] A. Bora, E. Price, and A. Dimakis. AmbientGAN: Generative models from lossy measurements. In Proc. ICLR, 2018.

[12] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. Generative adversarial networks. In Proc. NIPS, 2014.

[43] Z. Zhao, S. Singh, H. Lee, Z. Zhang, A. Odena, and H. Zhang. Improved consistency regularization for GANs. CoRR, abs/2002.04724, 2020.

歡迎關(guān)注GiantPandaCV, 在這里你將看到獨家的深度學(xué)習(xí)分享，堅持原創(chuàng)，每天分享我們學(xué)習(xí)到的新鮮知識。( ? ?ω?? )?

有對文章相關(guān)的問題，或者想要加入交流群，歡迎添加BBuf微信：

為了方便讀者獲取資料以及我們公眾號的作者發(fā)布一些Github工程的更新，我們成立了一個QQ群，二維碼如下，感興趣可以加入。