在线看片日韩,自拍偷拍中文字幕,国产一区在线免费观看,AV的天堂,裸体交性bbbbbbbbb,美女被操网站,黑人大屌在线播放,涩黄视频

人臉復(fù)原 (Face Restoration) 是指從低質(zhì)量的人臉中復(fù)原得到高清的人臉。真實(shí)世界中的人臉復(fù)原是一個(gè)很有挑戰(zhàn)的任務(wù)，因?yàn)榻蒂|(zhì) (degradation) 過(guò)程復(fù)雜且不盡相同。國(guó)內(nèi)某 PCG 應(yīng)用研究中心 (ARC) 的研究者們提出了利用預(yù)先訓(xùn)練好的人臉生成模型提供的先驗(yàn)，來(lái)指導(dǎo)人臉復(fù)原的任務(wù)。

真實(shí)世界的人臉復(fù)原是一個(gè)盲問(wèn)題，即我們不清楚降質(zhì)過(guò)程，在實(shí)際應(yīng)用中，同時(shí)也面臨著各種各樣降質(zhì)過(guò)程的挑戰(zhàn)。對(duì)于人臉這個(gè)特定的任務(wù)，之前的工作往往會(huì)探索人臉特定的先驗(yàn)，并且取得了較好的效果。常見(jiàn)的人臉先驗(yàn)有兩類：

幾何人臉先驗(yàn), 比如人臉關(guān)鍵點(diǎn)、人臉?lè)指顖D、人臉熱力圖。然而從低質(zhì)量的圖片中很難取得比較準(zhǔn)確的幾何信息。此外，它們很難提供紋理方面的信息。

參考圖，即從數(shù)據(jù)庫(kù)中取得相同或者相似的人臉作為參考 (Reference) 來(lái)復(fù)原。但是這樣的高質(zhì)量的參考圖在實(shí)際中很難獲取。ECCV20 提出的 DFDNet 工作進(jìn)一步構(gòu)建了一個(gè)人臉五官的字典來(lái)作為參考，它可以取得更好的效果，但是會(huì)受限于字典的容量，而且只考慮了五官，沒(méi)有考慮整個(gè)臉。

與此同時(shí)，生成對(duì)抗網(wǎng)絡(luò) GAN 的蓬勃發(fā)展，特別是 StyleGAN2 能夠生成足夠以假亂真的人臉圖像給研究者們提供了一個(gè)思路：是否可以利用包含在人臉生成模型里面的「知識(shí)」來(lái)幫助人臉復(fù)原呢？

論文地址：arxiv.org/abs/2101.0406

研究核心利用了包含在訓(xùn)練好的人臉生成模型里的「知識(shí)」, 被稱之為生成人臉先驗(yàn) (Generative Facial Prior, GFP)。它不僅包含了豐富的五官細(xì)節(jié), 還有人臉顏色, 此外它能夠把人臉當(dāng)作一個(gè)整體來(lái)對(duì)待, 能夠處理頭發(fā)、耳朵、面部輪廓?；陬A(yù)訓(xùn)練好的生成模型, 研究者們提出了利用生成人臉先驗(yàn) GFP 的人臉復(fù)原模型 GFP-GAN。先來(lái)看看它做到的效果：

相比于近幾年其他人臉復(fù)原的工作，GFP-GAN 不僅在五官恢復(fù)上取得了更好的細(xì)節(jié)，整體也更加自然，同時(shí)也能夠?qū)︻伾幸欢ǖ脑鰪?qiáng)作用。

研究方法

首先來(lái)看 StyleGAN2 生成模型，它從一個(gè)可學(xué)習(xí)的常數(shù)向量開(kāi)始，不斷地提高分辨率。其中的 latent code 向量用來(lái)調(diào)制 (Modulate) 各個(gè)卷積層的權(quán)重，最后生成真實(shí)且多樣的人臉。

GFPGAN

下圖是該研究的主要框架，輸入一張低質(zhì)量的人臉，首先經(jīng)過(guò) UNet 結(jié)構(gòu)，在這里有復(fù)原 loss 的 L1 約束 (灰色箭頭)，用以粗略地去除 degradations，比如噪聲、模糊、JPEG 等。同時(shí)更重要的是，得到提取的 latent 特征向量 (綠色箭頭) 和空間特征 (黃色箭頭)。

在人臉復(fù)原中，與其他工作不同，僅僅通過(guò)調(diào)制 StyleGAN 的 latent codes，因?yàn)闆](méi)有考慮局部的空間信息會(huì)極大影響人臉的 identity。因此也要利用空間的特征來(lái)調(diào)制 StyleGAN 里面的特征。

GFP-GAN 基于現(xiàn)有的高效的空間特征變換 (Spatial Feature Transform，SFT) 層來(lái)達(dá)到這個(gè)目的。它能夠根據(jù)輸入的條件(這里是提取的低質(zhì)量的圖像特征)，生成乘性特征和加性特征，對(duì) StyleGAN 的特征做仿射變換。為了進(jìn)一步平衡輸入圖像的信息和 StyleGAN 中的信息，GFP-GAN 進(jìn)一步將通道拆分為兩部分，一部分用來(lái)調(diào)制，一部分直接跳躍過(guò)去。這樣的調(diào)制會(huì)在由小到大的每個(gè)空間尺度上進(jìn)行，提高調(diào)制的效果。

損失函數(shù)

除了一般的 L1 和 Perceptual 復(fù)原損失函數(shù)外，GFP-GAN 的訓(xùn)練還使用了：

全局的 Discriminator，判斷人臉是否是真實(shí)的；

人臉五官的 Discriminators，用來(lái)判斷局部的人臉五官是否清晰，GFP-GAN 還考慮了紋理細(xì)節(jié)多且較難恢復(fù)的左右眼睛和牙齒；

為了保持人臉 identity 的一致，使用了人臉 identity 一致?lián)p失函數(shù)，即在人臉識(shí)別模型的特征空間中去拉近。

訓(xùn)練數(shù)據(jù)

和之前大部分工作類似，GFP-GAN 采用了 Synthetic 數(shù)據(jù)的訓(xùn)練方式。研究者們發(fā)現(xiàn)在合理范圍的 Synthetic 數(shù)據(jù)上訓(xùn)練，能夠涵蓋大部分的實(shí)際中的人臉。GFP-GAN 的訓(xùn)練采用了經(jīng)典的降質(zhì)模型，即先高斯模糊，再降采樣，然后加噪聲，最后使用 JPEG 壓縮。