DeepMind 終于逆襲了！

?

這家總部位于倫敦的AI研究公司在過去幾年虧損數(shù)億美元后，有史以來第一次實(shí)現(xiàn)了盈利!

?

?

DeepMind收購MuJoCo

?

在2020年，DeepMind實(shí)現(xiàn)了5960萬美元的利潤。?

?

而僅在一年前的2019年，DeepMind交出的還是一份高達(dá)6.49億美元（約42億人民幣）的虧損賬單。

?

?

作為一家人工智能初創(chuàng)公司，DeepMind成立十幾年來，研發(fā)了不少明星產(chǎn)品，比如AlphaGo，AlphaFold2，不斷光環(huán)加身。但光環(huán)背后，它的商業(yè)化之路一直走得有點(diǎn)艱辛。

?

?

近期，DeepMind在宣布史上首次實(shí)現(xiàn)盈利之后，第一次開始出手收購。

?

10月19號，DeepMind宣布，將機(jī)器人模擬器平臺MuJoCo收購，并準(zhǔn)備將其作為一個(gè)預(yù)編譯的開源庫發(fā)布，免費(fèi)提供給研究人員。

?

?

DeepMind表示，預(yù)計(jì)將在2022年發(fā)布MuJoCo的代碼庫，并在Apache 2.0許可下將其作為開源軟件「繼續(xù)改進(jìn)」。

?

「我們的機(jī)器人團(tuán)隊(duì)一直在使用MuJoCo作為各種項(xiàng)目的模擬平臺。我們致力于開發(fā)和維護(hù)MuJoCo。MuJoCo作為一個(gè)免費(fèi)的、開源的、社區(qū)驅(qū)動的項(xiàng)目，具有一流的能力。我們目前正在努力為MuJoCo的全面開源做準(zhǔn)備?！笵eepMind表示。

?

?

DeepMind創(chuàng)始人Demis Hassabis表示，公司的初衷就是用人工智能推動科學(xué)發(fā)展，造福于人類。

?

DeepMind在機(jī)器人領(lǐng)域的進(jìn)展

?

此次收購MuJoCo，并將其作為開源平臺開放給所有研究人員，并不是DeepMind第一次在機(jī)器人領(lǐng)域作出貢獻(xiàn)。

?

所以，DeepMind是如何一直在機(jī)器人領(lǐng)域努力突破極限的呢？

?

深度強(qiáng)化學(xué)習(xí)訓(xùn)練機(jī)器人

?

2016年，DeepMind的研究人員展示了深度強(qiáng)化學(xué)習(xí)如何訓(xùn)練真正的物理機(jī)器人。

?

研究表明，基于deep Q-functions的強(qiáng)化學(xué)習(xí)算法可以擴(kuò)展到復(fù)雜的三維操作任務(wù)，并有效地學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)策略。

?

DeepMind進(jìn)一步表明，通過在異步共享策略更新的多個(gè)機(jī)器人之間進(jìn)行算法并行化，可以進(jìn)一步減少訓(xùn)練機(jī)器人的時(shí)間。

?

?

所提出的方法可以在模擬中學(xué)習(xí)各種3D操作技能和開門技能(通常被認(rèn)為是在機(jī)器人訓(xùn)練中比較復(fù)雜的任務(wù))，而無需手動設(shè)計(jì)行為表示。

?

產(chǎn)生靈活的行為

?

2018年，DeepMind發(fā)表了三篇主要論文，展示了機(jī)器人可以實(shí)現(xiàn)靈活自然的行為，來適應(yīng)和解決任務(wù)。

?

?

科學(xué)家用各種模擬身體訓(xùn)練agent，讓他們在不同的地形上跳躍、轉(zhuǎn)身和蹲伏。結(jié)果表明，agent在沒有收到具體指示的情況下學(xué)會了這些技能。

?

另一篇論文展示了一種訓(xùn)練策略網(wǎng)絡(luò)的方法，該網(wǎng)絡(luò)模擬人類行為的動作捕捉數(shù)據(jù)，以預(yù)先學(xué)習(xí)諸如行走、從地面起身、轉(zhuǎn)彎和跑步等技能。

?

?

然后，這些行為經(jīng)過調(diào)整，可以改變用途，并解決其他任務(wù)，如爬樓梯和通過有墻壁的走廊。

?

第三篇論文提出了一個(gè)基于最先進(jìn)的生成模型的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)。

?

這項(xiàng)研究展示了這種架構(gòu)如何能夠?qū)W習(xí)不同行為之間的關(guān)系，并模仿向agent展示的特定動作。

?

?

經(jīng)過訓(xùn)練后，這些系統(tǒng)可以編碼一個(gè)觀察到的動作，并創(chuàng)造一個(gè)新的動作。

?

擴(kuò)展數(shù)據(jù)驅(qū)動的機(jī)器人技術(shù)

?

DeepMind研究了一個(gè)數(shù)據(jù)驅(qū)動的機(jī)器人框架，該框架使用大量的機(jī)器人體驗(yàn)數(shù)據(jù)集，然后使用學(xué)習(xí)獎勵函數(shù)將其擴(kuò)展到幾個(gè)任務(wù)。

?

該框架可用于在真實(shí)機(jī)器人平臺上完成三種不同的物體操縱任務(wù)。

?

?

科學(xué)家們使用人類注釋作為監(jiān)督，讓agent學(xué)習(xí)獎勵功能，并用任務(wù)不可知（task-agnostic）的記錄經(jīng)驗(yàn)來演示任務(wù)。這有助于agent處理現(xiàn)實(shí)世界中無法直接獲得獎勵信號的任務(wù)。

?

基于學(xué)習(xí)到的獎勵和從不同任務(wù)中獲得的大量經(jīng)驗(yàn)數(shù)據(jù)集，使用批量強(qiáng)化學(xué)習(xí)離線學(xué)習(xí)機(jī)器人策略，這種方法可以訓(xùn)練agent執(zhí)行具有挑戰(zhàn)性的操作任務(wù)，如堆疊剛性物體。

?

堆疊的新基準(zhǔn)

?

最近，DeepMind推出了RGB堆疊，作為基于視覺的機(jī)器人操作任務(wù)的新基準(zhǔn)。

?

在這里，機(jī)器人必須學(xué)會如何抓住不同的物體，并使它們相互平衡。這不同于以前的工作，因?yàn)樗梦矬w非常多樣，為驗(yàn)證結(jié)果的準(zhǔn)確性也需要進(jìn)行各種經(jīng)驗(yàn)評估。

?

結(jié)果表明，使用模擬和真實(shí)世界數(shù)據(jù)的組合可以學(xué)習(xí)復(fù)雜的多對象操作。

?

?

這個(gè)實(shí)驗(yàn)為新物體的概括提出一個(gè)強(qiáng)有力的基線，也被認(rèn)為是DeepMind在制造通用機(jī)器人方面的一個(gè)重大進(jìn)步。

?

DeepMind現(xiàn)在將致力于讓機(jī)器人更好地理解不同幾何形狀物體間的相互作用。RGB堆疊基準(zhǔn)已經(jīng)與構(gòu)建真實(shí)機(jī)器人的RGB堆疊環(huán)境、RGB對象的模型和3D打印信息的設(shè)計(jì)一起開源。

MuJoCo

最后，來聊聊這次DeepMind收購的MuJoCo。

?

MuJoCo（Multi-Joint Dynamics with Contact）是一款物理引擎模擬器，可促進(jìn)機(jī)器人學(xué)、生物力學(xué)、圖形、動畫等需要快速準(zhǔn)確模擬的領(lǐng)域的研發(fā)。

?

?

?

MuJoCo由Emo Todorov為Roboti LLC開發(fā)，是第一批全功能模擬器之一，從零開始設(shè)計(jì)，通過觸點(diǎn)進(jìn)行基于模型的優(yōu)化。

?

在DeepMind被收購之前，2015年至2021年間，MuJoCo一直是一款商業(yè)產(chǎn)品，也就意味著需要收費(fèi)，而且并不便宜。

?

?

MuJoCo有助于提升計(jì)算密集型技術(shù)，如最佳控制、系統(tǒng)識別、物理一致狀態(tài)估計(jì)和自動化機(jī)構(gòu)設(shè)計(jì)，然后將其應(yīng)用于具有豐富接觸行為的復(fù)雜動態(tài)系統(tǒng)。

?

?

MuJoCo還有一些應(yīng)用，比如，在物理機(jī)器人、游戲和交互式科學(xué)部署之前，經(jīng)常會在MuJoCo上測試和驗(yàn)證控制方案。

?

機(jī)器人研究的未來

?

今年，DeepMind的競爭對手OpenAI，在機(jī)器人領(lǐng)域投入多年的研究、資源和努力后，最終決定解散其機(jī)器人研究團(tuán)隊(duì)，將重點(diǎn)轉(zhuǎn)移到數(shù)據(jù)更容易獲得的領(lǐng)域。

?

?

在機(jī)器人研發(fā)行業(yè)，也有幾家基于機(jī)器人技術(shù)的公司已經(jīng)關(guān)門或者正在嚴(yán)重虧損。在這種情況下，機(jī)器人盡管是一個(gè)看似利潤豐厚的行業(yè)，但卻沒有買家。

?

不過，有谷歌的真金白銀的支持，再加上從不讓人失望的DeepMind的研發(fā)實(shí)力和研究機(jī)器人的決心，機(jī)器人領(lǐng)域的未來還是非常值得期待的。

?