1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        二次元的正確打開方式

        共 4770字,需瀏覽 10分鐘

         ·

        2021-03-01 11:59

        去年發(fā)表的「Talking Head Anime」大家都看過了吧?
        最近,這位谷歌工程師對(duì)算法進(jìn)行了升級(jí),「Talking Head Anime 2」效果更好
        只需要一張 PNG 二次元角色圖片,就可以生成虛擬偶像,生成帶面部表情捕捉的 Vtuber 角色。
        作者親自上場(chǎng),動(dòng)漫頭像根據(jù)作者的口型和頭部動(dòng)作實(shí)時(shí)「演唱」,作者的完整視頻
        老規(guī)矩,今天就教大家怎么玩!

        1


        算法原理

        算法的核心思想是:給定某個(gè)動(dòng)漫人物的一張人臉圖像和六軸的姿態(tài)信息(Pose),生成同一人物的另一張人臉圖像。
        通過實(shí)時(shí)控制六軸的姿態(tài)信息(Pose),來達(dá)到實(shí)時(shí)控制動(dòng)漫人物的效果。
        整個(gè)過程分類兩個(gè)步驟:
        • 第一步:改變面部表情,即控制眼睛和嘴的開閉程度。
        • 第二步:人臉旋轉(zhuǎn)。
        每一步都使用單獨(dú)的一個(gè)網(wǎng)絡(luò),并將第一個(gè)網(wǎng)絡(luò)的輸出作為第二個(gè)網(wǎng)絡(luò)的輸入。
        第一個(gè)網(wǎng)絡(luò)為人臉變形器,第二個(gè)網(wǎng)絡(luò)為人臉旋轉(zhuǎn)器。
        為了獲得更好的面部動(dòng)作,作者本次升級(jí)將姿態(tài)維度增加到了 42 維。
        同時(shí)在人臉變形器中增加了眉毛、眼睛、嘴巴形變器。
        眉毛變形器:可以分割出眉毛,并控制眉毛扭曲的形狀。

        眼睛和嘴巴變形器的網(wǎng)絡(luò)也是類似操作。

        更具體的原理,詳見作者的論文:
        https://pkhungurn.github.io/talking-head-anime-2/

        2


        算法測(cè)試

        「Talking Head Anime 2」還沒有開源,不過應(yīng)該馬上就有了。
        著急,可以先玩一玩「Talking Head Anime」,效果也很不錯(cuò),同時(shí)也算為第二代做環(huán)境的準(zhǔn)備了。
        項(xiàng)目地址:
        https://github.com/pkhungurn/talking-head-anime-demo
        第一步:配置開發(fā)環(huán)境。
        依賴不多,使用 Anaconda 配置安裝下即可。
         
        這里有詳細(xì)的環(huán)境配置教程:別再折騰開發(fā)環(huán)境了,一勞永逸的搭建方法
        第二步:下載代碼和權(quán)重文件。
        一共四個(gè)權(quán)重文件,下載好并它們放在工程目錄的 data 目錄下。

        我將代碼和權(quán)重文件,進(jìn)行了打包,可以直接下載使用(提取碼:jack):
        https://pan.baidu.com/s/1VmLncRBTl4zJMo4nHsUf4w
        第三步:運(yùn)行程序。
        python app/manual_poser.py
        超級(jí)簡(jiǎn)單,運(yùn)行效果:

        3


        總結(jié)

        很期待第二個(gè)優(yōu)化版本,效果絕對(duì)更好!
        真實(shí)人臉也是可以這樣控制的,只是需要的維度更多,數(shù)據(jù)更多。
        現(xiàn)在各種虛擬主播已經(jīng)登場(chǎng)了,在直播領(lǐng)域上線了不少相關(guān)產(chǎn)品,后續(xù)這類技術(shù)會(huì)做的越來越好。
        三次元的人臉模型驅(qū)動(dòng)也將不在話下。
        ·················END·················

        圖書推薦


        ▊《圖像視頻濾鏡與人像美顏美妝算法詳解

        胡耀武 譚娟 李云夕 

        本書主要介紹了與圖像視頻濾鏡和人像美顏美妝特效相關(guān)的算法基礎(chǔ)知識(shí)與方法思路。從多年前的Photoshop到今天的手機(jī)拍照App,以及功能強(qiáng)大的智能圖像處理軟件的普及程度可以看出,濾鏡、美顏和美妝已是照片/視頻美化操作不可或缺的部分。本書從傳統(tǒng)方法開始,系統(tǒng)地講述了調(diào)色、濾波、變形等圖像算法,并以此為基礎(chǔ)講解了各種圖像濾鏡、人像美顏美妝特效的算法思路與代碼實(shí)現(xiàn),最后擴(kuò)展到基于深度學(xué)習(xí)的AI濾鏡及美顏算法。全書條理清晰,由簡(jiǎn)到難,通俗易懂。

        本書非常適合對(duì)圖像算法,尤其是圖像特效、人臉美化感興趣的初學(xué)者,或者想從事相關(guān)工作但又缺少經(jīng)驗(yàn)的人員,抑或是圖像美化相關(guān)領(lǐng)域的設(shè)計(jì)師等。

        (掃碼了解本書詳情)


                          
         
        如果喜歡本文
        歡迎 在看留言分享至朋友圈 三連

         熱文推薦  





        ▼點(diǎn)擊閱讀原文,獲取本書詳情~

        瀏覽 20
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            性高潮自述 | 国语对白91 | 亚洲午夜av | 亚洲伊人伊色伊影伊综合网 | 肏逼视频网站 | 欧美成人性生活视频精品网 | 欧美老妇精品一区二区 | 他的手挤进我胸罩里揉搓视频 | 亚洲九九九九 | 国产欧美一区二区三区精华液好吗 |