重磅干貨，第一時(shí)間送達(dá)
來源：CVPy

文末可以自己嘗試下卡通化效果~

CVPR2020收錄了一篇卡通化的文章，Xinrui Wang和Jinze Yu的《Learning to Cartoonize Using White-box Cartoon Representations》。可以把人物或者風(fēng)景畫轉(zhuǎn)換為卡通風(fēng)格的圖片，效果非常驚艷。

相比于之前深度學(xué)習(xí)為人詬病的“黑盒”學(xué)習(xí)，文章中提出了生成卡通化圖片的“白盒”表示法，將圖像分解為三種卡通表示，指導(dǎo)網(wǎng)絡(luò)優(yōu)化生成卡通照片，三種表示分別是surface表示、structure表示、texture表示。

我個(gè)人的理解是，圖像的三種表示分別是表示圖像的低頻特征、中頻（結(jié)構(gòu)）特征和高頻特征，就像是從遠(yuǎn)處、不遠(yuǎn)處和近處的視角分別看同一個(gè)人的過程：

低頻表示就是圖像的整體外觀，去掉了所有的紋理和細(xì)節(jié)。就像是遙望一個(gè)人，重點(diǎn)在“遙望”二字。這時(shí)只有一個(gè)整體的、模糊的觀感，能看到這是一個(gè)人形生物，只能看到人身上衣服的主色調(diào)等信息，人物與周圍背景的邊界是模糊不清的。近似的人可以摘掉眼鏡看看周圍，近視700度的我摘了眼鏡確認(rèn)了下，大致就是這種感覺沒跑了。
結(jié)構(gòu)表示或者中頻表示，就像是更近一點(diǎn)看這個(gè)人，但是距離感仍然在，鼻子眼睛等細(xì)節(jié)還是看不清楚，但是人物輪廓甚至上下衣的輪廓可以看清了，仍然看不清臉。各部分的主色調(diào)也更加清晰了。
高頻表示就是近看了，細(xì)節(jié)、紋理和更精細(xì)的輪廓等信息都能看到了，這個(gè)時(shí)候就是所謂“有鼻子有眼”了。

圖像被分解為surface表示、structure表示、texture表示之后，卡通化的任務(wù)也就比之前端對(duì)端的黑盒式學(xué)習(xí)明確了很多。作者提出用三個(gè)獨(dú)立的模塊分別去學(xué)習(xí)圖像的這三種表示，即三個(gè)模塊分別提取圖像的低頻、中頻和高頻的特征。

文章提出了一個(gè)包含一個(gè)生成器G(Generator)和兩個(gè)判別器Ds(D_surface)和Dt(D_texture)的GAN框架。

Ds用于判別模型從源圖像中提取的圖像的低頻表示與卡通圖片（標(biāo)注）
Dt用于判別模型從源圖像中提取的圖像的高頻表示與卡通圖片（標(biāo)注）
用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)提取源圖像的high-leval特征，并在提取的結(jié)構(gòu)（中頻）特征和輸出之間以及輸入照片和輸出之間對(duì)全局內(nèi)容施加空間約束

過程可以理解為，