B站up主用AI還原李煥英 動(dòng)態(tài)影像

上一篇：3600萬(wàn)中國(guó)人在抖音“上清華”

「從我有記憶開(kāi)始，媽媽就是中年婦女的模樣，所以我會(huì)忘記，她也曾是花季少女?！?/span>

春節(jié)檔上映的《你好，李煥英》讓不少人在影院哭得稀里嘩啦，它戳中了每個(gè)人心里最柔軟的部分。有人看完電影之后會(huì)給媽媽打個(gè)電話(huà)，有人會(huì)拿出媽媽年輕時(shí)的照片，感嘆一下爸爸的基因?yàn)槭裁匆敲磸?qiáng)大。

B 站知名 up 主大谷也是《你好，李煥英》的影迷之一，不過(guò)他做了一點(diǎn)不一樣的事情：嘗試用一系列 AI 技術(shù)修復(fù)了李煥英年輕時(shí)的黑白照片，不僅給照片上了色、提高了分辨率，還讓照片中的人物動(dòng)了起來(lái)。

原始黑白照片。

修復(fù)后的動(dòng)態(tài)彩色照片。

整個(gè)修復(fù)的流程并不復(fù)雜，涉及 AI 色彩還原、AI 清晰度增強(qiáng)、臉部精修、手繪微調(diào)等過(guò)程：

最終的修復(fù)效果如下：

大谷表示，他是偶然間看到了這張老照片，很有感觸，于是試著用 AI 腦補(bǔ)還原了一下拍攝前的動(dòng)態(tài)影像。不過(guò)，由于還原場(chǎng)景動(dòng)態(tài)與上色是基于 AI 技術(shù)生成，具有一定的想象元素，因此不等于準(zhǔn)確還原。

為了幫助大家掌握這項(xiàng)技能，大谷還公布了他用到的兩個(gè)開(kāi)源項(xiàng)目：飛槳 PaddleGAN 和 DFDNet。

飛槳 PaddleGAN

GAN 的全稱(chēng)是生成對(duì)抗網(wǎng)絡(luò)，被「卷積網(wǎng)絡(luò)之父」Yann LeCun（楊立昆）譽(yù)為「過(guò)去十年計(jì)算機(jī)科學(xué)領(lǐng)域最有趣的想法之一」，是近年來(lái)火遍全網(wǎng)、AI 研究者最為關(guān)注的深度學(xué)習(xí)算法方向之一。

GAN 在諸多領(lǐng)域都有著成功的應(yīng)用，如圖像生成 / 修復(fù)、超分辨率、圖像噪聲消除、換裝 / 妝、圖像風(fēng)格遷移、文字 / 聲音生成等，覆蓋互聯(lián)網(wǎng)、娛樂(lè)、游戲等各個(gè)行業(yè)。

為了給開(kāi)發(fā)者提供經(jīng)典及前沿的生成對(duì)抗網(wǎng)絡(luò)高性能實(shí)現(xiàn)，并支撐開(kāi)發(fā)者快速構(gòu)建、訓(xùn)練及部署生成對(duì)抗網(wǎng)絡(luò)，百度飛槳打造了一個(gè)圖像生成模型庫(kù)——PaddleGAN，覆蓋 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等經(jīng)典 GAN 模型，支持視頻插幀、超分辨率、老照片 / 視頻上色、視頻動(dòng)作生成等應(yīng)用。

除了上面展示的視頻修復(fù)，PaddleGAN 還能提供各類(lèi)不同的圖形影像生成、處理能力。人臉屬性編輯能力能夠在人臉識(shí)別和人臉生成基礎(chǔ)上，操縱面部圖像的單個(gè)或多個(gè)屬性，實(shí)現(xiàn)換妝、變老、變年輕、變換性別、發(fā)色等，使得一鍵換臉成為可能 *；* 動(dòng)作遷移能夠?qū)崿F(xiàn)肢體動(dòng)作變換、人臉表情動(dòng)作遷移等。

比如這樣： 

讓蘇大強(qiáng)表達(dá)心中之痛，唱起 unravel（視頻鏈接：https://www.bilibili.com/video/BV1Yy4y1r7DC）。

這樣： 

還有這樣： 

PaddleGAN 項(xiàng)目鏈接：https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

DFDNet

近年來(lái)，基于參考的人臉修復(fù)方法已經(jīng)受到了很多關(guān)注，但這些方法大多需要來(lái)自相同身份的高質(zhì)量的參考圖像，因此只適用于有限的場(chǎng)景。為了解決這一問(wèn)題，來(lái)自哈爾濱工業(yè)大學(xué)、香港大學(xué)等機(jī)構(gòu)的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一種名為深度人臉字典網(wǎng)絡(luò)（deep face dictionary network，DFDNet）的方法來(lái)指導(dǎo)退化觀(guān)測(cè)（dgraded observation 的修復(fù)過(guò)程。

首先，作者使用 K-means，利用高質(zhì)量圖像為感知顯著的人臉部位（如左 / 右眼、鼻子和嘴）生成深度字典。接下來(lái)，利用退化輸入（degraded input），研究者從相應(yīng)的字典中匹配和選擇最相似的部位特征，并通過(guò)提出的字典特征遷移塊（DFT）將高質(zhì)量的細(xì)節(jié)遷移到輸入上。最后，利用多尺度字典逐步實(shí)現(xiàn)從粗粒度到細(xì)粒度的修復(fù)。

實(shí)驗(yàn)結(jié)果表明，作者提出的方法在定性和定量評(píng)估中都能實(shí)現(xiàn)合理的性能。更加重要的是，該方法可以在不需要 identity-belonging 參考的情況下，利用真實(shí)的退化圖像（degraded image）生成逼真、有前景的結(jié)果。以下是一些人臉修復(fù)效果展示：

該網(wǎng)絡(luò)的基本結(jié)構(gòu)如下：

網(wǎng)絡(luò)主要包含兩個(gè)部分：a. 從大量包含各種姿態(tài)和表情的高質(zhì)量圖像中離線(xiàn)生成多尺度組件字典。這部分使用 K-means 算法為每個(gè)部位（即左 / 右眼、鼻子和嘴）在不同尺度上生成 K 個(gè)簇；b. 修復(fù)過(guò)程和字典特征遷移（DFT）塊，用于以漸進(jìn)的方式提供參考細(xì)節(jié)。

• 論文鏈接：https://arxiv.org/pdf/2008.00418.pdf

• 項(xiàng)目鏈接：https://github.com/csxmli2016/DFDNet

參考鏈接：

https://mp.weixin.qq.com/s/xSic1Tk93dk_N1qMylymtg

https://www.bilibili.com/video/BV1wh411k7YN?p=1&share_medium=iphone&share_plat=ios&share_source=WEIXIN_MONMENT&share_tag=s_i×tamp=1613972331&unique_k=KQGwoS 

關(guān)注微信公眾號(hào)：互聯(lián)網(wǎng)架構(gòu)師，在后臺(tái)回復(fù)：2T，可以獲取我整理的教程，都是干貨。

猜你喜歡

1、GitHub 標(biāo)星 3.2w！史上最全技術(shù)人員面試手冊(cè)！FackBoo發(fā)起和總結(jié)

2、如何才能成為優(yōu)秀的架構(gòu)師？

3、從零開(kāi)始搭建創(chuàng)業(yè)公司后臺(tái)技術(shù)棧

4、程序員一般可以從什么平臺(tái)接私活？

5、37歲程序員被裁，120天沒(méi)找到工作，無(wú)奈去小公司，結(jié)果懵了...

6、滴滴業(yè)務(wù)中臺(tái)構(gòu)建實(shí)踐，首次曝光

7、不認(rèn)命，從10年流水線(xiàn)工人，到谷歌上班的程序媛，一位湖南妹子的勵(lì)志故事

8、15張圖看懂瞎忙和高效的區(qū)別

9、2T架構(gòu)師學(xué)習(xí)資料干貨分享