數(shù)十億行代碼訓(xùn)練！OpenAI升級Codex，直接將書面語言轉(zhuǎn)為計算機代碼

前言：AI 編程工具 GitHub Copilot 之后，又一可能“讓程序員失業(yè)”的 AI 編程工具 Codex 來了。

當(dāng)?shù)貢r間8月10日，OpenAI 發(fā)布Codex的改進版本，將把API以私有測試版的形式發(fā)布。Codex是可以將自然語言轉(zhuǎn)換為代碼的AI系統(tǒng)，也就是那個為 GitHub Copilot提供「馬達」的模型。口頭命令令A(yù)I生成代碼的時代到來了。

OpenAI再次驚艷這個圈兒！

 

只要你對這個AI發(fā)號施令，它就會將英語翻譯成代碼。

 

比如：電腦上一切的東西我都沒

 

add this image of a rocketship

 

隨后，你的雙手離開鍵盤，AI會自動編程，這張火箭照片就被添加進來了：

 

 

給它點難度：當(dāng)火箭被點擊時，它的速度會x4

 

 

這就是OpenAI發(fā)布的一種新機器學(xué)習(xí)工具——Codex，可以將英語翻譯成代碼。

 

哦對了，Codex也正是為GitHub Copilot提供動力的模型。

 

剛剛，OpenAI發(fā)布了Codex的改進版本，API以私有測試版的形式發(fā)布出來，可以將自然語言轉(zhuǎn)換為代碼的AI系統(tǒng)。

 

 

從GPT-3到DALL·E，不久前大熱的Copilot（背后也依賴Open AI的技術(shù)），OpenAI這是要徹底「砸了」程序員的飯碗嗎？

 

然而，OpenAI的CTO和聯(lián)合創(chuàng)始人Greg Brockman則表示：「它消除了程序員繁瑣的工作。」

 

看看它還有哪些驚人功能？

開發(fā)小游戲，準(zhǔn)確率高達72%！

Codex不僅能夠收到指令后自行編程，還能夠開發(fā)個小游戲。

 

 

除了打字輸入指令，Codex還能接受語音指令。

 

復(fù)制的文字有很多空格，手動刪除太費時間怎么辦？

 

問題不大，Open AI和微軟合作出了一個Word插件。

 

一聲令下，AI就能完成任務(wù)。

 

「啪，每行開頭的空格消失了！」

 

執(zhí)行力不錯，那準(zhǔn)確率呢？

 

研究人員用APPS數(shù)據(jù)集來測量不同語言模型的編碼挑戰(zhàn)能力。

 

APPS含有5000次訓(xùn)練和5000次代碼問題的測試。

 

測試結(jié)果顯示，120億參數(shù)版的Codex能夠?qū)?/span>28.81%的問題給出正確答案。

 

準(zhǔn)確率遠遠超過「前浪」GPT-Neo和GPT-J。

讓我看看今天是哪個小傻瓜還在加班

哦，原來是我

 

經(jīng)過不斷修正，最終Codex-12B的準(zhǔn)確率提升到了72.31%！

 

Greg Brockman表示，編程有兩個部分：

 

一、認真思考一個問題并試圖理解它

 

二、將這些小片段映射到現(xiàn)有的代碼中，不管它是一個庫、一個函數(shù)還是一個API。

 

Codex的目的是讓編碼員在第一部分上花費更多時間，而不是第二部分。

 

畢竟，大量的代碼都是在重復(fù)或直接抄襲別人之前所做的事情。

 

當(dāng)然，它可以是創(chuàng)造性的，但沒有人會在做基本的事情時發(fā)揮他們的想象力，比如部署一個網(wǎng)絡(luò)服務(wù)器來測試一點代碼。

 

比如部署 Web 服務(wù)器來測試一些代碼。布羅克曼用一條簡單的線做到了這一點——「創(chuàng)建一個說明這一點的網(wǎng)頁」。

 

利用Codex，一秒鐘后，就有十幾行JavaScript以完全標(biāo)準(zhǔn)的方式做了這件事。

 

 

優(yōu)點很多，局限性也不少

 

上面說了Codex不少優(yōu)點，可以幫助用戶使用新的代碼庫，減少上下文切換。

 

還可以讓非程序員編寫規(guī)范的代碼。

 

但Open AI也承認，Codex還有許多不足之處。

 

首先，Codex的訓(xùn)練樣本效率不高。

 

它的訓(xùn)練集上有數(shù)十億行代碼，包括來自GitHub的Python代碼。

 

數(shù)十億行代碼。

 

多有經(jīng)驗的開發(fā)人員也不會遇到這么多代碼??！

 

但就算有這么多行代碼的訓(xùn)練，計算機科學(xué)的學(xué)生可能比Codex-12B更能解決問題。

 

比如Codex演示人員下了一個指令：Say Hello World with empathy

 

「讀書?！埂笗?。」

 

出來的結(jié)果把演示人員都給整笑了。

 

除此之外，Open AI很實誠地在論文的預(yù)印本中指出Codex的其它缺點：

 

過度依賴生成的輸出。

 

生成一些乍一看正確但其實是錯誤的代碼。

 

因為互聯(lián)網(wǎng)上的訓(xùn)練集或多或少帶有種族歧視，經(jīng)過訓(xùn)練后的Codex也會帶有偏見。

Codex的出現(xiàn)會對程序員的就業(yè)市場產(chǎn)生沖擊。

 

大規(guī)模參數(shù)量還會產(chǎn)生大量碳足跡。

 

目前Open AI Codex還處于私測階段，后續(xù)會繼續(xù)擴大規(guī)模。

 

希望Codex的到來能夠讓編程變得更加高效。

參考資料：

https://www.twitch.tv/videos/1114111652

https://arxiv.org/abs/2107.03374

https://openai.com/blog/openai-codex/#helloworld

文章素材來源于網(wǎng)絡(luò)，如有侵權(quán)，聯(lián)系刪除！

— 推薦閱讀 —

NLP ( 自然語言處理 )
Transformer也能生成圖像，新型ViTGAN性能比肩基于CNN的GAN
兼具CNN和Transformer優(yōu)勢，靈活使用歸納偏置，F(xiàn)acebook提出ConViT
NLP界新SOTA！吸納5000萬級知識圖譜，一舉刷爆54個中文任務(wù)！

CV（計算機視覺）
項目經(jīng)理：做過這九個CV項目，工資你說了算！
219個 opencv 常用函數(shù)匯總，一個比一個強大！
手殘黨福音：一鍵摳圖、隔空移物，這篇CVPR華人論文幫你搞定

推薦
最大熵的定以及概念 | 推薦系統(tǒng)
FM模型的原理（上） | 推薦系統(tǒng)
FM模型的原理（下） | 推薦系統(tǒng)

最新大廠面試題
好未來暑期算法實習(xí)面試題5道...
好未來算法實習(xí)面試題8道...
百度機器學(xué)習(xí)/NLP算法面試題8道

AI開源項目論文
多對象跟蹤、電影推薦系統(tǒng)、神經(jīng)網(wǎng)絡(luò)等...
【干貨】本周AI領(lǐng)域優(yōu)秀開源項目分享！
yolov4 火災(zāi)檢測，煙霧檢測等5大開源項目...


戳↓↓“閱讀原文”下載七月在線最新升級版《名企AI面試100題》PDF！