人類語言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡單、更“符合規(guī)律”。

ChatGPT大火，甚至已經(jīng)開始改變?nèi)祟惖墓ぷ骱退伎挤绞剑浞至私獠⑶艺J識它，同時看到未來的機會，已經(jīng)成為每個人迫不及待需要建立的心智。而放眼全球，唯一一本能夠講透GPT的原理以及未來的書，唯有斯蒂芬·沃爾弗拉姆的這本《這就是ChatGPT》。

無論你是否了解他，我都想再次誠意的為你介紹這位傳奇人物的經(jīng)歷。

他是伊利諾斯大學(xué)物理學(xué)、數(shù)學(xué)和計算機科學(xué)教授，“科學(xué)天才”。15歲發(fā)表首篇粒子物理方面的學(xué)術(shù)論文；19歲，到加州理工學(xué)院研究基本粒子物理學(xué)，一年內(nèi)獲得理論物理學(xué)博士學(xué)位。隨后他和費曼一起研究起元胞自動機。

同時也是軟件工程師、企業(yè)老板，他創(chuàng)辦的Wolfram Research軟件公司，研發(fā)出當今世界四大數(shù)學(xué)軟件之一Mathematica。Mathematica的發(fā)布標志著現(xiàn)代科技計算的開始，它是世界上通用計算系統(tǒng)中最強大的系統(tǒng)。沃爾夫勒姆本人也因為這個發(fā)明被認為是“人類的偉大贊助者”，并跨入千萬富翁的行列。

1981年，沃爾弗拉姆被授予麥克阿瑟“天才人物”獎，并成為該獎有史以來最年輕的獲得者。

2009年5月，沃爾弗拉姆發(fā)布了一個搜索引擎WolframAlpha?！暗谝粋€真正實用的人工智能”。可以給出針對問題的有效答案，所以，WolframAlpha問世不久后便被稱為“谷歌殺手”。他跟喬布斯也是好友，比如蘋果手機助手Siri，背后的知識庫，其實就是Wolfram|Alpha支持的。 

他的大部頭著作，1197頁的《一種新科學(xué)》（A New Kind of Science）在2002年出版的時候登上了亞馬遜的榜首，暢銷無比。

他是當今世界活著的最聰明的人之一，最硬核的思考者。

《這就是ChatGPT》

[美] 斯蒂芬·沃爾弗拉姆 著 WOLFRAM傳媒漢化小組 譯

1

那么，ChatGPT到底在做什么？它為什么能做到這些？

ChatGPT的基本概念在某種程度上相當簡單：首先從互聯(lián)網(wǎng)、書籍等獲取人類創(chuàng)造的海量文本樣本，然后訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)來生成“與之類似”的文本。特別是，它能夠從“提示”開始，繼續(xù)生成“與其訓(xùn)練數(shù)據(jù)相似的文本”。

正如我們所見，ChatGPT中的神經(jīng)網(wǎng)絡(luò)實際上由非常簡單的元素組成，盡管有數(shù)十億個。神經(jīng)網(wǎng)絡(luò)的基本操作也非常簡單，本質(zhì)上是對于它生成的每個新詞（或詞的一部分），都將根據(jù)目前生成的文本得到的輸入依次傳遞“給其所有元素一次”（沒有循環(huán)等）。

值得注意和出乎意料的是，這個過程可以成功地產(chǎn)生與互聯(lián)網(wǎng)、書籍等中的內(nèi)容“相似”的文本。ChatGPT不僅能產(chǎn)生連貫的人類語言，而且能根據(jù)“閱讀”過的內(nèi)容來“循著提示說一些話”。它并不總是能說出“在全局上有意義”（或符合正確計算）的話，因為（如果沒有利用Wolfram|Alpha的“計算超能力”）它只是在根據(jù)訓(xùn)練材料中的內(nèi)容“聽起來像什么”來說出“聽起來正確”的話。

ChatGPT 的具體工程非常引人注目。但是，（至少在它能夠使用外部工具之前）ChatGPT“僅僅”是從其積累的“傳統(tǒng)智慧的統(tǒng)計數(shù)據(jù)”中提取了一些“連貫的文本線索”。但是，結(jié)果的類人程度已經(jīng)足夠令人驚訝了。

正如我所討論的那樣，這表明了一些至少在科學(xué)上非常重要的東西：人類語言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡單、更“符合規(guī)律”。ChatGPT 已經(jīng)隱含地發(fā)現(xiàn)了這一點。但是我們可以用語義語法、計算語言等來明確地揭開它的面紗。

ChatGPT 在生成文本方面表現(xiàn)得非常出色，結(jié)果通常非常類似于人類創(chuàng)作的文本。這是否意味著 ChatGPT 的工作方式像人類的大腦一樣？它的底層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)說到底是對理想化大腦的建模。當人類生成語言時，許多方面似乎非常相似。

當涉及訓(xùn)練（即學(xué)習）時，大腦和當前計算機在“硬件”（以及一些未開發(fā)的潛在算法思想）上的不同之處會迫使 ChatGPT 使用一種可能與大腦截然不同的策略（在某些方面不太有效率）。

還有一件事值得一提：甚至與典型的算法計算不同，ChatGPT 內(nèi)部沒有“循環(huán)”或“重新計算數(shù)據(jù)”。這不可避免地限制了其計算能力—即使與當前的計算機相比也是如此，更談不上與大腦相比了。

我們尚不清楚如何在“修復(fù)”這個問題的同時仍然讓系統(tǒng)以合理的效率進行訓(xùn)練。但這樣做可能會使未來的 ChatGPT 能夠執(zhí)行更多“類似大腦的事情”。當然，有許多事情大腦并不擅長，特別是涉及不可約計算的事情。對于這些問題，大腦和像 ChatGPT 這樣的東西都必須尋求“外部工具”，比如 Wolfram 語言的幫助。

但是就目前而言，看到 ChatGPT 已經(jīng)能夠做到的事情是非常令人興奮的。在某種程度上，它是一個極好的例子，說明了大量簡單的計算元素可以做出非凡、驚人的事情。它也為我們提供了 2000 多年以來的最佳動力，來更好地理解人類條件（human condition）的核心特征—人類語言及其背后的思維過程—的本質(zhì)和原則。

2

前方的路

機器學(xué)習是一種強大的方法，特別是在過去十年中，它取得了一些非凡的成功—ChatGPT 是最新的成功案例。除此之外，還有圖像識別、語音轉(zhuǎn)文字、語言翻譯……在每個案例中，都會跨越一個門檻—通常是突然之間。一些任務(wù)從“基本不可能”變成了“基本可行”。

但結(jié)果從來不是“完美”的。也許有的東西能夠在 95% 的時間內(nèi)運作良好。但是不論怎樣努力，它的表現(xiàn)在剩下的 5% 時間內(nèi)仍然難以捉摸。對于某些情況來說，這可能被視為失敗。但關(guān)鍵在于，在各種重要的用例中，95% 往往就“足夠好了”。原因也許是輸出是一種沒有“正確答案”的東西，也許是人們只是在試圖挖掘一些可能性供人類（或系統(tǒng)算法）選擇或改進。

擁有數(shù)百億參數(shù)的神經(jīng)網(wǎng)絡(luò)一次一個標記地生成文本，能夠做到ChatGPT 所能做的事情，這著實是非同凡響的。

鑒于這種戲劇性、意想不到的成功，人們可能會認為，如果能夠“訓(xùn)練一個足夠大的網(wǎng)絡(luò)”，就能夠用它來做任何事情。但事實并非如此。關(guān)于計算的基本事實，尤其是計算不可約的概念，表明它最終是無法做到的。

不過不要緊，重點在于我們在機器學(xué)習的實際歷史中看到的：會取得（像 ChatGPT 這樣的）重大突破，進步不會停止。更重要的是，我們會發(fā)現(xiàn)能做之事的成功用例，它們并未因不能做之事受阻。雖然“原始 ChatGPT”可以在許多情況下幫助人們寫作、提供建議或生成對各種文檔或交流有用的文本，但是當必須把事情做到完美時，機器學(xué)習并不是解決問題的方法—就像人類也不是一樣。

這正是我們在以上例子中看到的。ChatGPT 在“類人的部分”表現(xiàn)出色，因為其中沒有精確的“正確答案”。但當它被“趕鴨子上架”、需要提供精確的內(nèi)容時，往往會失敗。這些例子要表達的重點是，有一種很好的方法可以解決該問題—將 ChatGPT 連接到Wolfram|Alpha（沃爾弗拉姆公司所研發(fā)的新一代的搜索引擎，能根據(jù)問題直接給出答案的網(wǎng)站）以利用其全部的計算知識“超能力”。

3

為ChatGPT賦予“思想”

在 Wolfram|Alpha 內(nèi)部，一切都被轉(zhuǎn)換為計算語言，轉(zhuǎn)換為精確的Wolfram 語言代碼。這些代碼在某種程度上必須是“完美”的，才能可靠地使用。關(guān)鍵是，ChatGPT 無須生成這些代碼。它可以生成自己常用的自然語言，然后由 Wolfram|Alpha 利用其自然語言理解能力轉(zhuǎn)換為精確的 Wolfram 語言。

在許多方面，可以說 ChatGPT 從未“真正理解”過事物，它只“知道如何產(chǎn)生有用的東西”。但是 Wolfram|Alpha 則完全不同。因為一旦 Wolfram|Alpha 將某些東西轉(zhuǎn)換為 Wolfram 語言，我們就擁有了它們完整、精確、形式化的表示，可以用來可靠地計算事物。不用說，有很多“人類感興趣”的事物并沒有形式化的計算表示—盡管我們?nèi)匀豢梢杂米匀徽Z言談?wù)撍鼈儯强赡懿粔驕蚀_。對于這些事物，ChatGPT 只能靠自己，而且能憑借自己的能力做得非常出色。

就像我們?nèi)祟愐粯樱?/span>ChatGPT 有時候需要更形式化和精確的“助力”。重點在于，它不必用“形式化和精確”的語言表達自己，因為 Wolfram|Alpha 可以用相當于 ChatGPT 母語的自然語言進行溝通。當把自然語言轉(zhuǎn)換成自己的母語 —Wolfram 語言時，Wolfram|Alpha 會負責“添加形式和精度”。我認為這是一種非常好的情況，具有很大的實用潛力。

這種潛力不僅可以用于典型的聊天機器人和文本生成應(yīng)用，還能擴展到像數(shù)據(jù)科學(xué)或其他形式的計算工作（或編程）中。從某種意義上說，這是一種直接把 ChatGPT 的類人世界和 Wolfram 語言的精確計算世界結(jié)合起來的最佳方式。

ChatGPT 能否直接學(xué)習 Wolfram 語言呢？答案是肯定的，事實上它已經(jīng)開始學(xué)習了。我十分希望像 ChatGPT 這樣的東西最終能夠直接在 Wolfram 語言中運行，并且因此變得非常強大。

這種有趣而獨特的情況之所以能成真，得益于 Wolfram 語言的如下特點：它是一門全面的計算語言，可以用計算術(shù)語來廣泛地談?wù)撌澜缟虾推渌胤降氖挛铩?/span>

Wolfram 語言的總體概念就是對我們?nèi)祟惖乃妓脒M行計算上的表示和處理。普通的編程語言旨在確切地告訴計算機要做什么，而作為一門全面的計算語言，Wolfram 語言涉及的范圍遠遠超出了這一點。實際上，它旨在成為一門既能讓人類也能讓計算機“用計算思維思考”的語言。

許多世紀以前，當數(shù)學(xué)符號被發(fā)明時，人類第一次有了“用數(shù)學(xué)思維思考”事物的一種精簡媒介。它的發(fā)明很快導(dǎo)致了代數(shù)、微積分和最終所有數(shù)學(xué)科學(xué)的出現(xiàn)。Wolfram 語言的目標則是為計算思維做類似的事情，不僅是為了人類，而且是要讓計算范式能夠開啟的所有“計算 XX 學(xué)”領(lǐng)域成為可能。

我個人因為使用 Wolfram 語言作為“思考語言”而受益匪淺。過去幾十年里，看到許多人通過 Wolfram 語言“以計算的方式思考”而取得了很多進展，真的讓我喜出望外。

那么 ChatGPT 呢？它也可以做到這一點，只是我還不確定一切將如何運作。但可以肯定的是，這不是讓 ChatGPT 學(xué)習如何進行 Wolfram 語言已經(jīng)掌握的計算，而是讓 ChatGPT 學(xué)習像人類一樣使用 Wolfram 語言，讓 ChatGPT 用計算語言（而非自然語言）生成“創(chuàng)造性文章”，等等。

我在很久之前就討論過由人類撰寫的計算性文章的概念，它們混合使用了自然語言和計算語言?，F(xiàn)在的問題是，ChatGPT 能否撰寫這些文章，能否使用 Wolfram 語言作為一種提供對人類和計算機而言都“有意義的交流”的方式。是的，這里存在一個潛在的有趣的反饋循環(huán)，涉及對 Wolfram 語言代碼的實際執(zhí)行。

但至關(guān)重要的是Wolfram 語言代碼所代表的“思想”的豐富性和“思想”流—與普通編程語言中的不同，更接近 ChatGPT 在自然語言中“像魔法一樣”處理的東西。

換句話說，Wolfram 語言是和自然語言一樣富有表現(xiàn)力的，足以用來為 ChatGPT 編寫有意義的“提示”。沒錯，Wolfram 語言代碼可以直接在計算機上執(zhí)行。但作為 ChatGPT 的提示，它也可以用來“表達”一個可以延續(xù)的“想法”。它可以描述某個計算結(jié)構(gòu)，讓ChatGPT“即興續(xù)寫”人們可能對于該結(jié)構(gòu)的計算上的說法，而且根據(jù)它通過閱讀人類寫作的大量材料所學(xué)到的東西來看，這“對人類來說將是有趣的”。

ChatGPT 的意外成功突然帶來了各種令人興奮的可能性。就目前而言，我們能馬上抓住的機會是，通過 Wolfram|Alpha 賦予 ChatGPT計算知識超能力。這樣，ChatGPT 不僅可以產(chǎn)生“合理的類人輸出”，而且能保證這些輸出利用了封裝在 Wolfram|Alpha 和 Wolfram語言內(nèi)的整座計算和知識高塔。

  推薦閱讀

往期精品(點擊圖片直達文字對應(yīng)教程)

機器學(xué)習