改變宇宙之前，GPT-3最先改變的可能是OpenAI

大數(shù)據(jù)文摘出品

來(lái)源：bdtechtalks

編譯：Hippo

GPT-3是人工智能研究實(shí)驗(yàn)室OpenAI的最新成果。它是有史以來(lái)規(guī)模最大的語(yǔ)言模型，引發(fā)了一系列關(guān)于人工智能將如何快速改變眾多行業(yè)的討論。

但是，很少有人去討論GPT-3是如何改變OpenAI本身的。在創(chuàng)建有史以來(lái)最成功的自然語(yǔ)言處理系統(tǒng)的過(guò)程中，OpenAI已逐漸從一個(gè)非盈利性人工智能實(shí)驗(yàn)室演化成一家出售人工智能服務(wù)的公司。

由于糾纏在兩個(gè)相互矛盾的目標(biāo)之間，該實(shí)驗(yàn)室處于一種不穩(wěn)定的狀態(tài)。一方面要開(kāi)發(fā)有利可圖的人工智能服務(wù)，另一方面又要探索人類(lèi)級(jí)別的人工智能并造福所有人。在這之間尋求平衡是OpenAI成立的特殊使命。

2019年3月，OpenAI宣布它將從非營(yíng)利實(shí)驗(yàn)室轉(zhuǎn)變?yōu)椤坝O(shè)限”公司。這種模式為從投資者和大型科技公司籌集資金開(kāi)辟了道路，投資方被告知他們的回報(bào)將以投資額的100倍為上限（這上限夠誘人?。?。

為什么會(huì)發(fā)生這樣的架構(gòu)變化？該公司在一篇網(wǎng)站告示中宣布，此舉旨在“迅速增加我們?cè)谒懔腿瞬欧矫娴耐顿Y以平衡實(shí)現(xiàn)公司使命所需要的支出。”

“算力和人才”是這里的關(guān)鍵詞。

人才和算力成本是人工智能研究的兩個(gè)核心挑戰(zhàn)。從事OpenAI這類(lèi)研究的人才庫(kù)非常有限。鑒于對(duì)人工智能商業(yè)化的興趣日益濃厚，大型科技公司之間在為自己的項(xiàng)目招募人工智能研究人員時(shí)存在激烈的競(jìng)爭(zhēng)。這引發(fā)了一場(chǎng)軍備競(jìng)賽，每家科技巨頭都給出更高的薪水和津貼以吸引人工智能研究人員。

Google和Facebook搶走了3位深度學(xué)習(xí)鼻祖中的2位，即Geoffrey Hinton和Yann LeCun。備受尊敬的人工智能專(zhuān)家Ian Goodfellow（同時(shí)也是對(duì)抗式生成網(wǎng)絡(luò)GAN的發(fā)明者）就職于Apple，另一位人工智能天才Andrej Karpathy在Tesla工作。

OpenAI對(duì)科學(xué)研究仍然有濃厚的興趣，但是隨著大多數(shù)人工智能人才被吸引到可以提供豐厚薪水的公司，非營(yíng)利性人工智能實(shí)驗(yàn)室發(fā)現(xiàn)要填補(bǔ)他們的職位空缺越來(lái)越難，除非他們能夠提供類(lèi)似水平的薪水。根據(jù)2018年《紐約時(shí)報(bào)》的報(bào)道，只有少數(shù)OpenAI的研究人員每年能獲得超過(guò)100萬(wàn)美元的收入，而報(bào)告稱(chēng)另一家人工智能研究實(shí)驗(yàn)室DeepMind在2018年向700名員工支付了超過(guò)4.83億美元的薪水。

深度學(xué)習(xí)算法是人工神經(jīng)網(wǎng)絡(luò)的主要組成部分，而其算力需求是導(dǎo)致人工智能成本進(jìn)一步增加的主要原因。在能夠勝任實(shí)際任務(wù)之前，神經(jīng)網(wǎng)絡(luò)必須對(duì)利用大量案例進(jìn)行訓(xùn)練，這一過(guò)程需要昂貴的計(jì)算資源。近些年OpenAI參與了一些非常昂貴的人工智能項(xiàng)目，包括通過(guò)機(jī)械手臂玩轉(zhuǎn)Rubik魔方，通過(guò)扮演游戲?qū)κ謸魯ota2冠軍，以及一組人工智能扮演不同角色玩500萬(wàn)次捉迷藏游戲。

據(jù)估計(jì)，訓(xùn)練GPT-3至少需要460萬(wàn)美元。需要明確的是，訓(xùn)練深度學(xué)習(xí)模型并不是一個(gè)純粹的一次性的過(guò)程。反復(fù)的試驗(yàn)、意外的錯(cuò)誤和超參數(shù)調(diào)整可能會(huì)使成本增加數(shù)倍。

OpenAI并不是第一個(gè)采用商業(yè)模式的人工智能研究實(shí)驗(yàn)室。面對(duì)類(lèi)似的困境，DeepMind在2014年接受了Google提出的6.5億美元的收購(gòu)提議。

在聯(lián)合創(chuàng)始人之一Sam Altman的領(lǐng)導(dǎo)下，OpenAI開(kāi)始向投資者開(kāi)放市場(chǎng)化營(yíng)銷(xiāo)，他辭去了備受推崇的創(chuàng)業(yè)加速器Y Combinator的總裁一職并成為OpenAI的首席執(zhí)行官。

在Altman之前，Greg Brockman是該組織的代表。Brockman是OpenAI的聯(lián)合創(chuàng)始人兼CTO，同時(shí)也是一位經(jīng)驗(yàn)豐富的科學(xué)家和工程師。

在科技投資領(lǐng)域，聲譽(yù)和產(chǎn)品管理能力比科學(xué)天才更受重視，而Altman正是那種受投資者信任，并能把資金交給他管理的人。在Y Combinator任職期間，他幫助創(chuàng)立了許多成功的公司，包括Airbnb和Dropbox。

2019年5月，在接受知名科技媒體TechCrunch采訪時(shí)，Altman說(shuō)：“我們從未取得任何收益，目前也沒(méi)有賺錢(qián)的計(jì)劃。也許某一天我們會(huì)賺到錢(qián)，但我們并不知道如何做?！?/span>

但這并沒(méi)有妨礙投資者對(duì)OpenAI大筆投資。微軟相信Altman會(huì)以某種方式找到使投資獲利的方法，因此他們?cè)?月向該公司提供了10億美元的投資。

但是，技術(shù)投資公司和類(lèi)似OpenAI這樣的科學(xué)研究實(shí)驗(yàn)室是存在根本上的沖突的。

OpenAI的既定使命是確保能夠“構(gòu)建安全的通用人工智能（AGI）并向全世界分享這項(xiàng)技術(shù)來(lái)惠及全人類(lèi)”。

但是根據(jù)專(zhuān)家估計(jì)，要想實(shí)現(xiàn)AGI這個(gè)崇高的目標(biāo)至少需要幾十年的時(shí)間，而科技投資者的耐心極少能有那么久。如果幾年之內(nèi)其投資無(wú)法得到回報(bào)，他們將會(huì)變得懈怠。對(duì)于這一點(diǎn)只需要看看著名的Boston Dynamics（波士頓動(dòng)力公司），盡管在YouTube上發(fā)布的機(jī)器人視頻像病毒似的瘋狂傳播，但籌資者已經(jīng)幾度易手。

那么，OpenAI如何能夠在保持AGI研究的同時(shí)獲得資助者青睞？

“OpenAI正在開(kāi)發(fā)一系列功能越來(lái)越強(qiáng)大的人工智能技術(shù)，這需要大量資金以支撐算力。想要覆蓋這些成本最顯而易見(jiàn)的方法是制造出一個(gè)產(chǎn)品，但這將意味著我們工作重心的轉(zhuǎn)移。我們選擇了折中的方法，我們打算推出部分“準(zhǔn)AGI”技術(shù)，而微軟成為我們將這些“準(zhǔn)AGI技術(shù)”商業(yè)化的首選合作伙伴，”O(jiān)penAI在宣布獲得Microsoft投資的博客公告中寫(xiě)道。

相關(guān)鏈接：

但是有明顯跡象表明，OpenAI至少部分地成為了一家產(chǎn)品公司。

2020年5月，Microsoft宣布與OpenAI合作并專(zhuān)門(mén)為OpenAI建設(shè)世界前五名級(jí)別的超級(jí)計(jì)算機(jī)，由此Microsoft可以充分挖掘OpenAI的才能來(lái)創(chuàng)建Altman所說(shuō)的“我們的夢(mèng)想系統(tǒng)”。超級(jí)計(jì)算機(jī)一方面將幫助OpenAI訓(xùn)練其深度學(xué)習(xí)模型，另一方面還將為Microsoft Azure云計(jì)算平臺(tái)的其他客戶提供服務(wù)。

此后不到兩周，OpenAI在arXiv（論文預(yù)印本網(wǎng)站）上發(fā)表了第一版的GPT-3論文。與之前的GPT-2不同，GPT-3不會(huì)向公眾發(fā)布。OpenAI選擇了商業(yè)發(fā)布，開(kāi)發(fā)人員可以通過(guò)應(yīng)用程序編程接口（API）購(gòu)買(mǎi)對(duì)GPT-3的訪問(wèn)權(quán)限。

OpenAI 的API公告于6月11日發(fā)布，一些開(kāi)發(fā)人員可以獲得相關(guān)技術(shù)的早期訪問(wèn)權(quán)限。

這使GPT-3與微軟認(rèn)知服務(wù)（Microsoft Cognitive Services）十分相似，后者是一個(gè)基于黑盒子的人工智能云平臺(tái)，通過(guò)API接口向開(kāi)發(fā)人員提供計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和其他人工智能類(lèi)功能，同時(shí)無(wú)需提供后臺(tái)運(yùn)行的模型的實(shí)際細(xì)節(jié)。

這至少將幫助OpenAI返還Microsoft投資的一部分，同時(shí)Microsoft也將從雙方合作中受益并更深入地應(yīng)用該項(xiàng)技術(shù)，能夠?qū)⑵渑cBing，Office 365，Outlook.com和Teams等產(chǎn)品集成。

GPT-3的商業(yè)發(fā)布使OpenAI與成為人工智能產(chǎn)品公司更近了一步，而與非盈利性人工智能科學(xué)研究的初衷越發(fā)偏離。

在開(kāi)發(fā)出GPT-2后，基于對(duì)“技術(shù)的惡意應(yīng)用”（例如散布垃圾郵件和虛假新聞）的擔(dān)憂，OpenAI團(tuán)隊(duì)決定不向公眾發(fā)布。取而代之的是采用了分階段的方法，先發(fā)布了一個(gè)較小版本的人工智能模型并進(jìn)行了評(píng)估，之后才發(fā)布了較大的模型。

雖然當(dāng)時(shí)的作者認(rèn)為性能良好的語(yǔ)言模型不會(huì)造成假新聞的泛濫，但他也支持在發(fā)布技術(shù)之前先認(rèn)真地思考一下這種技術(shù)可能帶來(lái)的后果。

GPT-3比GPT-2大三個(gè)數(shù)量級(jí)。在深度學(xué)習(xí)的語(yǔ)言模型中，關(guān)鍵問(wèn)題之一是記憶廣度。隨著神經(jīng)網(wǎng)絡(luò)生成的文本變長(zhǎng)，人工智能開(kāi)始失去連貫性。實(shí)驗(yàn)表明，較大的神經(jīng)網(wǎng)絡(luò)通常具有較長(zhǎng)的記憶廣度，這意味著GPT-3中被誤用的可能性比GPT-2要大得多。

但是這次OpenAI并沒(méi)有為GPT-3可能成為制造垃圾郵件機(jī)的和虛假新聞的武器而大聲疾呼。相反，OpenAI高管們?cè)噲D淡化有關(guān)GPT-3的警告。7月， Sam Altman在一條推文中刪除了“ GPT-3宣傳”。

Altman的評(píng)論大部分是正確的，因?yàn)槿斯ぶ悄茉谶_(dá)到人類(lèi)智力水平之前還有一段路要走。GPT-3的許多實(shí)驗(yàn)表明，盡管取得了令人著迷的進(jìn)步，但語(yǔ)言模型仍然難以解決一些體現(xiàn)智能的基本任務(wù)。

盡管如此，Altman的言論依然可以表明公司高管向投資者保證一切都在控制之中。

GPT-3自發(fā)布以來(lái)受到了技術(shù)界的廣泛好評(píng)。許多開(kāi)發(fā)人員和企業(yè)家都發(fā)布了GPT-3自動(dòng)生成內(nèi)容的推文，例如詩(shī)歌、模因（文化的基本單位，與基因在生物進(jìn)化過(guò)程中所起的作用相類(lèi)似）、推文和網(wǎng)站模型。

一位開(kāi)發(fā)人員甚至設(shè)法用GPT-3生成Python代碼用來(lái)搭建深度學(xué)習(xí)模型。

GPT-3具有明顯的優(yōu)勢(shì)，并有可能成為人工智能業(yè)務(wù)的轉(zhuǎn)折點(diǎn)。深度學(xué)習(xí)的主要限制之一在于它是狹義的人工智能系統(tǒng)。它在特定的任務(wù)上可以表現(xiàn)很好，但推廣到其他領(lǐng)域中就表現(xiàn)不佳了。想要?jiǎng)?chuàng)建一個(gè)新的深度學(xué)習(xí)應(yīng)用程序，就必須從零開(kāi)始訓(xùn)練模型或運(yùn)用遷移學(xué)習(xí)對(duì)新任務(wù)的預(yù)訓(xùn)練模型進(jìn)行參數(shù)微調(diào)。

這種限制阻礙了人工智能服務(wù)作為平臺(tái)的發(fā)展。盡管GPT-3仍然屬于狹義的人工智能領(lǐng)域，但事實(shí)證明，它在許多沒(méi)有學(xué)習(xí)樣本的訓(xùn)練中依然能夠運(yùn)行。這就意味著你無(wú)需重新調(diào)整參數(shù)，它也能適應(yīng)新的應(yīng)用程序。

這種功能已經(jīng)催生了許多運(yùn)用人工智能模型創(chuàng)造新服務(wù)的點(diǎn)子。Debuild.co就是這樣一個(gè)通過(guò)GPT-3創(chuàng)建Web應(yīng)用程序的公司。

幫助租戶研究潛在房東的公司Augrented，正在探索通過(guò)GPT-3撰寫(xiě)法律告示或其他簡(jiǎn)單的英語(yǔ)聲明，幫助租戶捍衛(wèi)自己的權(quán)利。

OthersideAI也在運(yùn)用GPT-3向用戶提供創(chuàng)意工具。

GPT-3最終可能會(huì)成為一個(gè)新平臺(tái)，在此平臺(tái)上將創(chuàng)建新的業(yè)務(wù)和生態(tài)系統(tǒng)。這對(duì)于Altman是成功的，但是它會(huì)使OpenAI成為一個(gè)產(chǎn)品/服務(wù)公司，這與發(fā)布開(kāi)源人工智能模型并讓開(kāi)發(fā)人員用它來(lái)做自己的事情是完全不同的。

現(xiàn)階段的OpenAI需滿足客戶需求，擴(kuò)展其基礎(chǔ)架構(gòu)，處理合規(guī)性問(wèn)題等。隨著人工智能模式成為初創(chuàng)公司生死攸關(guān)的力量，OpenAI還必須能夠應(yīng)對(duì)開(kāi)展深度學(xué)習(xí)業(yè)務(wù)所帶來(lái)的特定挑戰(zhàn)。OpenAI仍有許多問(wèn)題需要處理，如消除有害偏差，解決模型衰減等等。這些都是成本極其高昂的任務(wù)，處理1750億參數(shù)的深度學(xué)習(xí)模型尤為如此。

與此同時(shí)，OpenAI在需要弄清如何解決這些事情的同時(shí)，還需保持盈利。

盡管Altman是一位非常成功的企業(yè)家，他也無(wú)法單打獨(dú)斗。隨著OpenAI進(jìn)一步涉足產(chǎn)品管理領(lǐng)域，它將需要Microsoft的更多幫助。

OpenAI已經(jīng)在依靠Microsoft的云架構(gòu)來(lái)訓(xùn)練和運(yùn)行其模型，但不久的將來(lái)，它可能需要這家技術(shù)巨頭來(lái)協(xié)助處理合法性、客戶支持、安全隱私、產(chǎn)品擴(kuò)展等其他問(wèn)題。

舊金山OpenAI總部

OpenAI的故事描繪出了科學(xué)人工智能研究面臨的挑戰(zhàn)。目前，人們普遍認(rèn)為更大的深度學(xué)習(xí)模型將發(fā)展出更先進(jìn)的人工智能系統(tǒng)。這意味著人工智能研究實(shí)驗(yàn)室需要大量資金吸引人才來(lái)訓(xùn)練他們?nèi)找纨嫶蟮纳疃葘W(xué)習(xí)模型。

目前，唯一愿意提供資金的是那些大型高科技公司，但投資者同樣希望獲得投資回報(bào)，這就迫使研究實(shí)驗(yàn)室不得不利用部分資源來(lái)創(chuàng)造有利可圖的產(chǎn)品。如此一來(lái)，大型公司可能會(huì)完全將實(shí)驗(yàn)室納入自己的商業(yè)目標(biāo)。

在Google收購(gòu)DeepMind之后，我們已經(jīng)看到了這種趨勢(shì)：人工智能實(shí)驗(yàn)室必須將資源同時(shí)分配給AGI研究部門(mén)和致力于創(chuàng)造可盈利產(chǎn)品的“應(yīng)用人工智能”部門(mén)，但是該公司尚未實(shí)現(xiàn)收支平衡。

至于OpenAI，它現(xiàn)在還發(fā)展的很好。越是困于將人工智能服務(wù)商業(yè)化，不忘初心就越難。它是會(huì)堅(jiān)持維持研究人類(lèi)智力水平的人工智能的透明性、堅(jiān)持開(kāi)放源代碼性質(zhì)，還是會(huì)傾向于通過(guò)生產(chǎn)商業(yè)實(shí)體，并將其研究作為公司的機(jī)密和知識(shí)產(chǎn)權(quán)予以嚴(yán)密保護(hù)？它是會(huì)堅(jiān)持“以人為本”，還是以滿足投資者（及未來(lái)所有者）作為其主要關(guān)注點(diǎn)？

時(shí)間會(huì)證明一切。

實(shí)習(xí)/全職編輯記者招聘ing

加入我們，親身體驗(yàn)一家專(zhuān)業(yè)科技媒體采寫(xiě)的每個(gè)細(xì)節(jié)，在最有前景的行業(yè)，和一群遍布全球最優(yōu)秀的人一起成長(zhǎng)。坐標(biāo)北京·清華東門(mén)，在大數(shù)據(jù)文摘主頁(yè)對(duì)話頁(yè)回復(fù)“招聘”了解詳情。簡(jiǎn)歷請(qǐng)直接發(fā)送至[email protected]

志愿者介紹

后臺(tái)回復(fù)“志愿者”加入我們

點(diǎn)「在看」的人都變好看了哦！