小扎下血本！Meta專為元宇宙搞了個AI模型新智元關注共 1852字，需瀏覽 4分鐘 ·2022-07-31 05:39 新智元報道 編輯：David Joey【新智元導讀】專門為元宇宙打造的AI框架，是什么樣子的？人工智能將成為虛擬世界的支柱。人工智能在元宇宙中可與多種相關技術結合，如計算機視覺、自然語言處理、區(qū)塊鏈和數字雙胞胎。 2月，扎克伯格在該公司的第一個虛擬活動——Inside The Lab中展示了元宇宙的樣子。他說，該公司正在開發(fā)一系列新的生成式AI模型，用戶只需通過描述就可以生成自己的虛擬現(xiàn)實化身。 扎克伯格宣布了一系列即將推出的項目，例如CAIRaoke項目，一項用于構建設備語音助手的完全端到端的神經模型，可幫助用戶更自然地與語音助手進行交流。 同時，Meta正努力構建一個通用語音翻譯器，可為所有語言提供直接的語音到語音翻譯。 幾個月后，Meta兌現(xiàn)了他們的承諾。 然而，Meta并不是唯一一家在游戲中擁有皮膚的科技公司。英偉達等公司也發(fā)布了其自主研發(fā)的AI模型以提供更豐富的元宇宙體驗。 開源預訓練Transformer（OPT-1750億參數) GAN verse 3D GANverse 3D由英偉達AI Research開發(fā)，是一種使用深度學習將2D圖像處理成3D動畫版本的模型，去年的ICLR和CVPR上發(fā)表的一篇研究論文中介紹了該工具，它可以用更低的成本更快地生成模擬。 該模型使用StyleGAN可自動從單個圖像生成多個視圖。該應用程序可以作為NVIDIA Omniverse的擴展導入，以在虛擬世界中準確地渲染3D對象。 英偉達推出的Omniverse可幫助用戶在虛擬環(huán)境中創(chuàng)建他們最終想法的模擬。 3D模型的制作已成為構建元宇宙的關鍵因素。耐克和Forever21等零售商已經在元宇宙建立了他們的虛擬商店，以推動電子商務銷售。視覺聲學匹配模型（AViTAR） Meta的現(xiàn)實實驗室團隊與德克薩斯大學合作，建立了一個人工智能模型，以改善元空間的聲音質量。該模型幫助匹配場景中的音頻和視頻。它對音頻片段進行轉換，使其聽起來像是在特定環(huán)境中錄制的。該模型在從隨機的在線視頻中提取數據后使用了自我監(jiān)督學習。 理想情況下，用戶應該能夠在他們的AR眼鏡上觀看他們最喜歡的記憶，并聆聽實際體驗中產生的確切聲音。Meta AI發(fā)布了AViTAR的開源，同時還發(fā)布了其他兩個聲學模型，考慮到聲音是metaverse體驗中經常被忽視的部分，這是非常罕見的。視覺影響的減震（VIDA）Meta AI發(fā)布的第二個聲學模型被用來去除聲學中的混響。該模型是在一個大規(guī)模的數據集上訓練出來的，該數據集有各種來自家庭三維模型的真實音頻渲染。混響不僅降低了音頻的質量，使其難以理解，而且還提高了自動語音識別的準確性。 VIDA的獨特之處在于，它在使用視覺線索的同時也使用音頻方式進行觀察。在典型的僅有音頻的方法的基礎上進行改進，VIDA可以增強語音，并識別語音和說話者。視覺語音（VisualVoice）Meta AI發(fā)布的第三個聲學模型VisualVoice可以從視頻中提取語音。與VIDA一樣，VisualVoice也是根據未標記的視頻中的視聽線索進行訓練。該模型已經自動分離了語音。 這個模型有重要的應用場景，如為聽障人士制作技術，增強可穿戴AR設備的聲音，從環(huán)境嘈雜的在線視頻中轉錄語音等。Audio2Face去年，英偉達發(fā)布了Omniverse Audio2Face的開放測試版，以生成人工智能驅動的面部動畫，以匹配任何配音。該工具簡化了為游戲和視覺效果制作動畫的漫長而繁瑣的過程。該應用還允許用戶以多種語言發(fā)出指令。 今年年初，英偉達發(fā)布了該工具的更新，增加了BlendShape Generation等功能，幫助用戶從一個中性頭像中創(chuàng)建一組blendhapes。此外，還增加了流媒體音頻播放器的功能，允許使用文本到語音應用程序的音頻數據流。 Audio2Face設置了一個3D人物模型，可以用音軌做動畫。然后，音頻被送入一個深度神經網絡。用戶還可以在后期處理中編輯角色，改變角色的表現(xiàn)。參考資料：https://analyticsindiamag.com/ai-models-built-for-the-metaverse/ 瀏覽 47點贊 評論 收藏 分享 手機掃一掃分享分享 舉報 評論圖片表情視頻評價全部評論推薦 擁抱未來，Meta 奔向「元宇宙」SegmentFault0META AIMake-A-Video是Meta公司推出的一款人工智能系統(tǒng)模型，可以從給定的文字提示生成短視頻Meta公司（MetaPlatformsInc.）2022年9月29日首次推出Make-A-VideMETA AIMake-A-Video是Meta公司推出的一款人工智能系統(tǒng)模型，可以從給定的文字提示生成短視頻MeMeta的AI讓你在元宇宙中可以「語出成真」雷鋒網0Meta元宇宙之路碰到四個麻煩01區(qū)塊鏈0Meta祭出元宇宙「阿拉丁神燈」！LeCun稱世界模型將帶來像人一樣的AI視學算法0元宇宙2021年是元宇宙元年?？氨却蠛胶r代的大遷徙，人類全面走進數字世界，開辟鴻蒙、創(chuàng)世而生。創(chuàng)造、生活元宇宙元宇宙0認識元學習 Meta Learning - 窺探通用型 AI機器學習與數學0小扎突然拆散AI部門，LeCun被迫投身元宇宙，Meta動蕩高管持續(xù)走人視學算法0點贊 評論 收藏 分享 手機掃一掃分享分享 舉報
下載APP下載APP