90后已三十而立！一張照片用GAN生成70歲的你
??新智元報道??
??新智元報道??
編輯：QJP
【新智元導(dǎo)讀】你是否想象過未來的自己長什么樣子？來自斯坦福和華盛頓大學(xué)的研究員近期發(fā)表了一篇論文，提出了基于GAN的新方法，可以僅用一張照片，連續(xù)生成從年輕到年老的自己的照片。
壽命年齡轉(zhuǎn)換合成（Lifespan Age Transformation Synthesis）是一個以 GAN 為基礎(chǔ)的新方法，旨在從一個單一的輸入圖像模擬連續(xù)老化的過程。
?
這個算法被設(shè)計用來幻想衰老的過程，并在一個人的整個生命周期中生成一個近似的外觀。
?
最初的主要用例是用于藝術(shù)和娛樂(CGI 效果，相機濾鏡等)，但這種方法也可能用于更關(guān)鍵的應(yīng)用，例如模擬失蹤和被拐賣人口的外觀等。
? ? ? ?
? ? ? ?
作者同時還強調(diào)說，作為一種不完美的數(shù)據(jù)驅(qū)動方法，結(jié)果可能是不準確和有偏見的。輸出的結(jié)果應(yīng)該由一個專業(yè)人員進行客觀的分析，而不是被當作一個絕對的基本事實來使用。
?
當用深度學(xué)習(xí)技術(shù)預(yù)測一個人在未來會是什么樣子，或者他在過去是什么樣子的時候，現(xiàn)有的方法大多局限于改變?nèi)四樀馁|(zhì)地，忽視了人體在老化和生長過程中頭部形態(tài)的變化。這就限制了以前的方法對成年人老化處理的適用性，而這些方法對兒童照片的應(yīng)用也不能產(chǎn)生高質(zhì)量的結(jié)果。
?
來自華盛頓大學(xué)和斯坦福大學(xué)的研究人員提出了一種新的多域圖像生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，其學(xué)習(xí)潛空間模型是一個連續(xù)的雙向的老化過程。
? ? ? ?
? ? ? ?
該網(wǎng)絡(luò)是在 FFHQ 數(shù)據(jù)集上進行訓(xùn)練的，并按照年齡、性別和語義分割對其進行標記。固定年齡類別被用作錨定來近似連續(xù)年齡轉(zhuǎn)換。新框架可以通過一張照片預(yù)測0-70歲年齡段的完整頭像，同時修改頭部的紋理和形狀。作者們展示了各種各樣的照片和數(shù)據(jù)集的結(jié)果，并顯示了顯著的改善超過了現(xiàn)有的水平。
? ? ? ?
? ? ? ??
作者團隊在算法設(shè)計上投入了大量的精力，以保持輸入圖像中人的身份，并最小化數(shù)據(jù)集固有偏差對結(jié)果的影響，這些改進措施就包括:
?
1.設(shè)計身份編碼器結(jié)構(gòu)，保留輸入圖像的局部結(jié)構(gòu)
?
2.保持個人身份的訓(xùn)練損失
?
3.FFHQ 數(shù)據(jù)集包含年齡段的性別不平衡。為了防止在輸出中引入這些偏見，例如為女性生產(chǎn)男性面部特征或反之亦然，訓(xùn)練了兩個獨立的模型，一個是男性模型，一個是女性模型。應(yīng)用哪個模型的決定留給用戶自己去決定。
?
結(jié)果與部分SOTA模型的比較：
?? ? ? ?
與PyGAN相比，新模型得到了更為清晰和真實的照片預(yù)測結(jié)果，不同年齡之間的轉(zhuǎn)換也更為順滑。
? ? ? ?
圖：能夠產(chǎn)生更清晰的皺紋，相比S2GAN來說更適用于年齡較大的人群
?
此模型在FFHQ上訓(xùn)練并在CACD上進行測試，而PyGAN和S2GAN都在CACD數(shù)據(jù)集上進行訓(xùn)練，即使PyGAN通過一個不同的生成器進行訓(xùn)練來產(chǎn)生每個年齡段的人，但新的網(wǎng)絡(luò)仍然能夠通過單個生成器來輸出多個類別，同時實現(xiàn)更加寫實的照片。與S2GAN相比，新的算法能夠產(chǎn)生更明顯的皺紋和面部特征年齡，同時可以跨越更長的年齡范圍來生成圖片。
?
如果需要在自己的本地機器上運行的前提條件是：
?
1.需要有GPU并且安裝了CUDA
?
2.代碼應(yīng)該運行在 PyTorch 1.0.0 以上的版本和 torchvision 0.4.0以上的版本上。
?
3.使用提供的 requirements.txt 文件: pip install-r requirements.txt 安裝所需要的包
?
好消息是，研究人員還提供了Colab的Demo，可以使用自己的圖片進行測試，相信大家已經(jīng)躍躍欲試了吧。
?
Colab地址附送如下：
https://colab.research.google.com/github/royorel/Lifespan_Age_Transformation_Synthesis/blob/master/LATS_demo.ipynb#scrollTo=3ezAOkaHw4Q_
?
項目地址：
https://github.com/royorel/Lifespan_Age_Transformation_Synthesis
