CVPR 2021 | GAN的說話人驅(qū)動、3D人臉論文匯總
點擊上方“機器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)
獲取有趣、好玩的前沿干貨！
一、說話人驅(qū)動（talking head）
1、Audio-Driven Emotional Video Portraits
盡管此前一些方法在基于音頻驅(qū)動的說話人臉生成方面已取得不錯的進展，但大多數(shù)研究都集中在語音內(nèi)容與嘴形之間的相關(guān)性上。人臉的情感表現(xiàn)是很重要的特征，但此前的方法總忽視這一點。
這項工作提出“表情視頻肖像” (Emotional Video Portraits，EVP)，一種由音頻驅(qū)動、具有動態(tài)情感的肖像視頻合成系統(tǒng)。具體來說，提出交叉重構(gòu)式的表情解耦技術(shù)，將語音分解為兩個解耦空間，即與時長無關(guān)的情感空間和與時長相關(guān)的內(nèi)容空間。解開的特征可推斷出動態(tài)2D表情人臉。
2、Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation
針對任意人的、以其音頻驅(qū)動的說話人臉生成研究方向，已實現(xiàn)了較準(zhǔn)確的唇形同步，但頭部姿勢的對齊問題依舊不理想。
此前的方法依賴于預(yù)先估計的結(jié)構(gòu)信息，例如關(guān)鍵點和3D參數(shù)。但極端條件下這種估計信息不準(zhǔn)確則效果不佳。本文主要針對的是，如何生成姿勢可控的說話人臉。
3、One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
提出一種說話人臉的視頻合成模型，并展示在視頻會議中的應(yīng)用。
使用包含目標(biāo)人物的源圖像，以及驅(qū)動視頻來合成源人物說話視頻。運動信息基于一種關(guān)鍵點表示進行編碼，其中特定于身份和運動相關(guān)的信息被無監(jiān)督地解耦。
二、3D人臉相關(guān)
4、Inverting Generative Adversarial Renderer for Face Reconstruction
給定單目人臉圖像作為輸入，3D 人臉幾何重建旨在恢復(fù)相應(yīng)的 3D 人臉網(wǎng)格mesh。這項工作引入一種生成對抗渲染器 (GAR)，以面部法線貼圖和潛碼作為輸入，渲染出逼真的人臉圖像。
5、Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement
引入一個基于 GAN 的框架，將照片中人臉數(shù)字化成標(biāo)準(zhǔn)3D形象。
輸入圖像可以是一個微笑的人，也可以是在極端光照條件下拍攝的，作者聲稱所提方法均可生成高質(zhì)量的人臉紋理模型。
6、pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
提出π-GAN/pi-GAN，用于高質(zhì)量的 3D 感知的圖像合成。
7、StylePeople: A Generative Model of Fullbody Human Avatars
提出一種全身人體數(shù)字化的“化身”形象（full-body human avatars）方法。
saic-violet.github.io/style-people
三、人體運動合成
8、Scene-aware Generative Network for Human Motion Synthesis
關(guān)注的是人體運動合成，此前方法往往有兩方面局限：1）專注于姿勢，卻忽視了位置運動方面的因素，2）忽略了環(huán)境對人體運動的影響。
本文考慮場景和人體運動之間的相互作用，目標(biāo)是生成以場景和人體初始位置為條件的合理人體運動。基于GAN，使用判別器來保證人體運動與上下文場景、3D 到 2D 投影約束的兼容性。
上述論文可在 計算機視覺GAN 知識星球 打包下載
猜您喜歡：
等你著陸！【GAN生成對抗網(wǎng)絡(luò)】知識星球！
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 最新2020李沐《動手學(xué)深度學(xué)習(xí)》
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》