點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)

獲取有趣、好玩的前沿干貨！

機(jī)器之心 編輯：杜偉、陳

CMU 助理教授朱俊彥團(tuán)隊的最新研究將 GAN 玩出了花，僅僅使用一個或數(shù)個手繪草圖，即可以自定義一個現(xiàn)成的 GAN 模型，進(jìn)而輸出與草圖匹配的圖像。相關(guān)論文已被 ICCV 2021 會議接收。

深度生成模型（例如 GAN）強(qiáng)大之處在于，它們能夠以最少的用戶努力合成無數(shù)具有真實(shí)性、多樣性和新穎的內(nèi)容。近年來，隨著大規(guī)模生成模型的質(zhì)量和分辨率的不斷提高，這些模型的潛在應(yīng)用也不斷的在增長。

然而，訓(xùn)練高質(zhì)量生成模型需要高性能的計算平臺，這使得大多數(shù)用戶都無法完成這種訓(xùn)練。此外，訓(xùn)練高質(zhì)量的模型還需要收集大規(guī)模數(shù)據(jù)以及復(fù)雜的預(yù)處理過程。常用的數(shù)據(jù)集（例如 ImageNet 、LSUN）需要人工標(biāo)注和過濾；而專用的數(shù)據(jù)集 FFHQ Face 需要進(jìn)行人臉對齊以及超分辨率預(yù)處理。此外，開發(fā)一個高級生成模型需要一組專家的領(lǐng)域知識，他們通常會在特定數(shù)據(jù)集的單個模型上投入數(shù)月或數(shù)年的時間，耗時較長。

這就引出了一個問題：普通用戶如何創(chuàng)建自己的生成模型？比如，用貓來創(chuàng)造藝術(shù)作品的用戶可能不愿意使用普通的貓模型，而希望是一種特殊貓的定制模特，擺著特定的姿勢：在附近、斜倚著，或者都向左看。一般來說，要獲得這樣的定制模型，用戶必須管理成千上萬的向左傾斜的貓圖像，然后需要領(lǐng)域?qū)＜一◣讉€月的時間進(jìn)行模型訓(xùn)練和參數(shù)調(diào)整，才能生成一個較為理想的模型。

在這項工作中，朱俊彥等來自 CMU 和 MIT 的研究者提出 GAN Sketching，該方法通過一個或多個草圖重寫 GAN，讓新手用戶更容易地訓(xùn)練 GAN。具體地，該方法還能通過用戶草圖改變原始 GAN 模型的權(quán)重，并且通過跨域（cross-domain ）對抗損失鼓勵模型輸出來匹配用戶草圖。

此外，該研究還探索了不同的正則化方法，以保持原始模型的多樣性和圖像質(zhì)量。

• 論文地址：https://arxiv.org/pdf/2108.02774.pdf

• 項目地址：https://peterwang512.github.io/GANSketching

實(shí)驗(yàn)表明，GAN Sketching 可以塑造 GAN 來匹配草圖指定的形狀和姿態(tài)，同時保持真實(shí)感和多樣性。研究者最后演示了生成的 GAN 的一些應(yīng)用，包括潛在空間插值和圖像編輯等應(yīng)用。

它的效果是這樣的：繪制一張貓咪草圖，模型會匹配與草圖神似的貓咪圖片：

看起來在遠(yuǎn)處、趴著的貓咪：

匹配和你對視的貓咪：

方法

研究者的目標(biāo)是創(chuàng)建一個真實(shí)圖像的模型，其中這些照片的形狀和姿態(tài)由草圖來指導(dǎo)，但輸出的是真實(shí)圖像，而不再是草圖。

基于此，研究者提出了一個使用域轉(zhuǎn)換網(wǎng)絡(luò)的跨域?qū)箵p失。不過，單單使用跨域?qū)箵p失明顯改變了模型的行為，并生成了不真實(shí)的結(jié)果。因此，他們通過圖像空間正則化進(jìn)一步訓(xùn)練模型，并且為了減輕模型的過擬合，他們限制了特定層的更新，并使用到了數(shù)據(jù)增強(qiáng)策略。

完整的訓(xùn)練流程如下圖 2 所示：

跨域?qū)箤W(xué)習(xí)

假設(shè) X, Y 分別是由圖像和草圖組成的域。研究者收集了一個大規(guī)模訓(xùn)練圖像集 x ～ p_data(x)和一些手繪草圖 y ～ p_data(y)。他們將 G(z; θ)作為一個從低維代碼 z 中生成圖像 x 的預(yù)訓(xùn)練 GAN，并希望創(chuàng)建一個新的 GAN 模型 G(z; θ′)，它的輸出圖像呈現(xiàn)與 X 相同的數(shù)據(jù)分布，同時輸出圖像的草圖也與 Y 的數(shù)據(jù)分布相似。

為了縮小草圖訓(xùn)練數(shù)據(jù)與圖像生成模型之間的差距，研究者提出以跨域?qū)箵p失來激勵生成的圖像匹配草圖 Y。在傳遞至判別器之前，生成器的輸出通過預(yù)訓(xùn)練的圖像 - 草圖網(wǎng)絡(luò) F 轉(zhuǎn)換成了草圖。如公式（1）所示：

其中，研究者將 Photosketch 作為圖像 - 草圖網(wǎng)絡(luò) F。

 圖像空間正則化

研究者觀察到，僅使用草圖上的損失將大大降低圖像質(zhì)量和生成結(jié)果的多樣性，這是因?yàn)樵摀p失迫使生成圖像的形狀匹配草圖。為了解決這一問題，他們添加了第二個對抗損失，以將輸出與原始模型的訓(xùn)練設(shè)置進(jìn)行比較。如公式（2）所示：

其中，判別器 D_X 用來保持圖像質(zhì)量和模型輸出的多樣性，并匹配用戶的草圖。

研究者還實(shí)驗(yàn)了權(quán)重正則化，其中使用公式（3）中的損失來顯式地懲罰大的變化：

最后，研究者實(shí)驗(yàn)了圖像和權(quán)重正則化方法聯(lián)合訓(xùn)練的模型，結(jié)果發(fā)現(xiàn)，該模型并不優(yōu)于僅通過圖像正則化訓(xùn)練的模型。

優(yōu)化

研究者的目標(biāo)是：

為了防止模型過擬合并加速微調(diào)速度，他們僅修改了 StyleGAN2 的映射網(wǎng)絡(luò)的權(quán)重，其本質(zhì)上是將 z ～ N (0, I)重映射為不同的中間潛在空間（W 空間）。

此外，研究者使用了一個預(yù)訓(xùn)練的 Photosketch 網(wǎng)絡(luò) F，并通過訓(xùn)練固定了 F 的權(quán)重。他們實(shí)驗(yàn)了應(yīng)用于訓(xùn)練草圖的可微增強(qiáng)策略，結(jié)果發(fā)現(xiàn)，輕微的增強(qiáng)在場景測試中表現(xiàn)更好。在本研究中，他們使用了轉(zhuǎn)換增強(qiáng)。

實(shí)驗(yàn)

為了實(shí)現(xiàn)大規(guī)模的定量評估，研究者構(gòu)建了一個模型草圖場景數(shù)據(jù)集。該研究使用 PhotoSketch 將數(shù)據(jù)集 LSUN 中的馬、貓和教堂的圖像轉(zhuǎn)換為草圖，并手工選擇 30 幅形狀和姿勢相似的草圖集合，指定為用戶輸入，如下圖 3 所示。

該研究根據(jù)生成圖像和評估集之間 FID（Frechet Inception Distance）來評估模型，為了公平比較，該研究通過選擇具有最佳 FID 的迭代來評估每個模型。

該研究與以下基線進(jìn)行了比較：（1）基線 (SBIR)，使用 Bui 等人提出的基于草圖的圖像檢索方法選擇最佳匹配樣本（2） 基線 (Chamfer)，使用 PhotoSketch 計算的輸入草圖 y 和圖像 x 的草圖之間的對稱倒角距離 d(x, y) + d(y, x) 匹配樣本。

表 1 為定量比較，由結(jié)果可得該研究所用方法獲得的 FID 明顯優(yōu)于基線 (SBIR) 和基線(Chamfer)。此外，該研究還調(diào)查了其他訓(xùn)練因素的影響，如表 1 所示。

更少的草圖樣本：該研究還測試了 GAN Sketching 方法是否能夠處理較少數(shù)量的草圖。每項任務(wù)只使用 1 或 5 個草圖訓(xùn)練模型，這些草圖選自前 30 個草圖。結(jié)果如下表 1 所示。

消融實(shí)驗(yàn)：首先，該研究對正則化方法和數(shù)據(jù)增強(qiáng)效果進(jìn)行了實(shí)驗(yàn)，結(jié)果如下表 2 所示：

正則化方法對比：與使用 L_sketch 訓(xùn)練相比，正則化方法 L_image 或者 L_weight 提高了 FID，而使用 L_image 優(yōu)于 L_weight 正則化方法。這與下圖 4 中的觀察結(jié)果一致，展示了經(jīng)過正則化和不經(jīng)過正則化訓(xùn)練的模型的 snapshot。

為了讓普通用戶可以定制 GAN，該研究還在新手手繪草圖上進(jìn)行了測試。研究者從 Quickdraw 數(shù)據(jù)集收集貓和馬的草圖作為訓(xùn)練圖像。首先他們在一個草圖上訓(xùn)練模型，并在下圖 5 中顯示成功和失敗的案例。

該研究還觀察到，在困難的情況下，可以通過增加輸入用戶草圖的數(shù)量來提高性能，如下圖 6 所示：

研究者還發(fā)現(xiàn)，增強(qiáng)策略是該方法在用戶草圖中獲得成功必不可少的因素。如下圖 7 所示，給定相同的輸入草圖，僅有通過增強(qiáng)策略訓(xùn)練的模型生成了忠實(shí)匹配輸入草圖的圖像。

研究者將他們的方法應(yīng)用于人臉生成模型，并使用增強(qiáng)策略加持的方法自定義了在 4 張人類手繪草圖上訓(xùn)練的 StyleGAN2 FFHQ 模型。具體結(jié)果如下圖 11 所示，可以看到，輸出的圖像與輸入的草圖匹配。

應(yīng)用

研究者了探討了將他們的方法應(yīng)用于圖像編輯和合成任務(wù)的幾種方法，并表示：用戶利用自定義模型可以更好地執(zhí)行潛在空間編輯以及更好地操控自然圖像。

對于潛在空間編輯來說，研究者在原始模型中應(yīng)用了潛在發(fā)現(xiàn)方法 GANSpace。如下圖 8 所示，通過沿著得出的潛在方向移動，他們發(fā)現(xiàn)自定義模型可以執(zhí)行與 Harkonen 等人工作中完全相同的操作。

由于研究者僅調(diào)整了生成器的映射網(wǎng)絡(luò)，他們的方法并沒有改變模型處理 W 空間潛變量的方式，因此保留了潛在編輯的屬性。他們還觀察到，潛在插值（latent interpolation）在模型中保留了平滑性。下圖 9 為利用自定義模型的差值結(jié)果：

對于 自然圖像編輯來說，研究者表示，自然圖像編輯可以通過圖像投影（image projection）來實(shí)現(xiàn)。下圖 10 為利用原始和自定義模型進(jìn)行的自然圖像編輯：

不過，研究者也遇到了一些失敗的示例，具體如下圖 12 所示，生成的圖像無法忠實(shí)地匹配草圖的姿態(tài)：

猜您喜歡：

等你著陸！【GAN生成對抗網(wǎng)絡(luò)】知識星球！  

CVPR 2021 | GAN的說話人驅(qū)動、3D人臉論文匯總

CVPR 2021 | 圖像轉(zhuǎn)換 今如何？幾篇GAN論文

【CVPR 2021】通過GAN提升人臉識別的遺留難題

CVPR 2021生成對抗網(wǎng)絡(luò)GAN部分論文匯總

經(jīng)典GAN不得不讀：StyleGAN

最新最全20篇！基于 StyleGAN 改進(jìn)或應(yīng)用相關(guān)論文

超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 | 《Python進(jìn)階》中文版

附下載 | 經(jīng)典《Think Python》中文版

附下載 | 《Pytorch模型訓(xùn)練實(shí)用教程》

附下載 | 最新2020李沐《動手學(xué)深度學(xué)習(xí)》

附下載 | 《可解釋的機(jī)器學(xué)習(xí)》中文版

附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》

附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 |《計算機(jī)視覺中的數(shù)學(xué)方法》分享