騰訊開源 GFP-GAN 代碼
點擊上方“機器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)
獲取有趣、好玩的前沿干貨！
文章來源 相約機器人
通常人面部修復(fù)將使用面部先驗，例如幾何和參考。然而當(dāng)輸入質(zhì)量低時，這些并不是特別有用，因為它不能提供準(zhǔn)確的幾何先驗或當(dāng)高質(zhì)量參考不可訪問時，因此它們只能在有限的范圍內(nèi)應(yīng)用于現(xiàn)實世界的場景。
騰訊 AI 的研究人員提出了他們的新GFP-GAN 模型，以在一次前向傳遞中實現(xiàn)真實性和保真度的良好平衡。該模型由退化去除模塊和預(yù)先訓(xùn)練的人臉生成器組成。它們通過直接潛在代碼映射連接到使用 CS SFT 層的粗到細(xì)通道。CS-SFT 層對分割的特征執(zhí)行空間調(diào)制，并讓左側(cè)的特征直接通過以更好地保存信息，從而允許所提出的方法結(jié)合生成先驗，同時有效地重新訓(xùn)練高保真度。此外，研究人員在局部鑒別器中引入了面部成分損失，以進一步增強感知面部細(xì)節(jié)和身份保留增益，從而提高整體質(zhì)量。
GFP-GAN 框架利用豐富多樣的生成面部，然后在面部恢復(fù)中創(chuàng)建真實性和保真度的良好平衡。這是通過通道分割空間特征變換層實現(xiàn)的，能夠在真實世界圖像的準(zhǔn)確性和泛化方面超越所有其他方法。廣泛的比較證明了這種卓越的能力，它超越了之前所做的任何事情。
關(guān)鍵點：
研究人員使用豐富多樣的面部先驗進行面部修復(fù)。 提出的具有 CS-SFT 層的 GFP-GAN 在一次前向傳遞中實現(xiàn)了保真度和紋理忠實度的良好平衡。 根據(jù)本文所提出的方法在合成數(shù)據(jù)集和真實世界數(shù)據(jù)集上的性能都優(yōu)于現(xiàn)有技術(shù)。
論文：
https://arxiv.org/pdf/2101.04061.pdf
項目：
https://xinntao.github.io/projects/gfpgan
Github：
https://github.com/TencentARC/GFPGAN
猜您喜歡：
等你著陸！【GAN生成對抗網(wǎng)絡(luò)】知識星球！
CVPR 2021 | GAN的說話人驅(qū)動、3D人臉論文匯總
CVPR 2021 | 圖像轉(zhuǎn)換 今如何？幾篇GAN論文
CVPR 2021生成對抗網(wǎng)絡(luò)GAN部分論文匯總
最新最全20篇！基于 StyleGAN 改進或應(yīng)用相關(guān)論文
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 最新2020李沐《動手學(xué)深度學(xué)習(xí)》
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》
附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！
附下載 |《計算機視覺中的數(shù)學(xué)方法》分享