↓↓↓點(diǎn)擊關(guān)注，回復(fù)資料，10個G的驚喜

機(jī)器之心編譯

機(jī)器之心編輯部

早在 2016 年，Hinton 就說過，我們不用再培養(yǎng)放射科醫(yī)生了。如今幾年過去，AI 并沒有取代任何一位放射科醫(yī)生。問題出在哪兒？

近年來，AI 在大數(shù)據(jù)、大模型的深度學(xué)習(xí)之路上一路狂奔，但很多核心問題依然沒有解決，比如如何讓模型具備真正的理解能力。在很多問題上，繼續(xù)擴(kuò)大數(shù)據(jù)和模型規(guī)模所帶來的收益似乎已經(jīng)沒有那么明顯了。

在 Robust.AI 創(chuàng)始人、紐約大學(xué)名譽(yù)教授 Gary Marcus 看來，這預(yù)示著深度學(xué)習(xí)（準(zhǔn)確地說是純粹的端到端深度學(xué)習(xí)）可能就要「撞到南墻」了。整個 AI 領(lǐng)域需要尋找新的出路。

Gary Marcus 的推文。Gary Marcus 是人工智能、心理學(xué)、神經(jīng)科學(xué)等多個領(lǐng)域的專家。他經(jīng)常為《紐約客》和《紐約時報(bào)》撰稿，并且是四本書的作者。在擔(dān)任紐約大學(xué)心理學(xué)和神經(jīng)科學(xué)教授期間，他在人類和動物行為、神經(jīng)科學(xué)、遺傳學(xué)和人工智能等領(lǐng)域發(fā)表了大量文章，并經(jīng)?？窃?Science 和 Nature 等期刊上。

那么，新的出路在哪兒呢？Gary Marcus 認(rèn)為，長期以來被忽略的符號處理就很有前途，將符號處理與現(xiàn)有的深度學(xué)習(xí)相結(jié)合的混合系統(tǒng)可能是一條非常值得探索的道路。

當(dāng)然，熟悉 Gary Marcus 的讀者都知道，這已經(jīng)不是他第一次提出類似觀點(diǎn)了。但令 Marcus 失望的是，他的提議一直沒有受到社區(qū)重視，尤其是以 Hinton 為代表的頂級 AI 研究者。Hinton 甚至說過，在符號處理方法上的任何投資都是一個巨大的錯誤。在 Marcus 看來，Hinton 的這種對抗傷害了整個領(lǐng)域。

不過，令 Marcus 欣慰的是，當(dāng)前也有一些研究人員正朝著神經(jīng)符號的方向進(jìn)發(fā)，而且 IBM、英特爾、谷歌、 Meta 和微軟等眾多公司已經(jīng)開始認(rèn)真投資神經(jīng)符號方法。這讓他對人工智能的未來發(fā)展感到樂觀。

以下是 Gary Marcus 的原文內(nèi)容：

在 2016 年多倫多舉行的一場人工智能會議上，深度學(xué)習(xí)「教父」Geoffrey Hinton 曾說過，「如果你是一名放射科醫(yī)生，那你的處境就像一只已經(jīng)在懸崖邊緣但還沒有往下看的郊狼?！顾J(rèn)為，深度學(xué)習(xí)非常適合讀取核磁共振（MRIs）和 CT 掃描圖像，因此人們應(yīng)該「停止培訓(xùn)放射科醫(yī)生」，而且在五年內(nèi)，深度學(xué)習(xí)明顯會做得更好。

時間快進(jìn)到 2022 年，我們并沒有看到哪位放射科醫(yī)生被取代。相反，現(xiàn)在的共識是：機(jī)器學(xué)習(xí)在放射學(xué)中的應(yīng)用比看起來要困難，至少到目前為止，人和機(jī)器的優(yōu)勢還是互補(bǔ)的關(guān)系。

當(dāng)我們只需要粗略結(jié)果時，深度學(xué)習(xí)能表現(xiàn)得很好

很少有哪個領(lǐng)域比 AI 更充滿炒作和虛張聲勢。它在十年又十年的潮流中不斷變身，還給出各種承諾，但只有很少的承諾能夠兌現(xiàn)。前一分鐘是它還是專家系統(tǒng)，下一分鐘就成了貝葉斯網(wǎng)絡(luò)，然后又成了支持向量機(jī)。2011 年，IBM 的沃森曾被宣揚(yáng)為醫(yī)學(xué)革命，但最近卻被分拆出售。

2012 年以來，AI 領(lǐng)域最火的是深度學(xué)習(xí)。這項(xiàng)價值數(shù)十億美元的技術(shù)極大地推動了當(dāng)代人工智能的發(fā)展。Hinton 是這項(xiàng)技術(shù)的先驅(qū)，他的被引量達(dá)到令人驚嘆的 50 多萬次，并與 Yoshua Bengio 和 Yann Lecun 一起獲得了 2018 年的圖靈獎。

就像在他之前的人工智能先驅(qū)一樣，Hinton 經(jīng)常談?wù)摷磳⒌絹淼膫ゴ蟾锩?。放射學(xué)只是其中的一部分。2015 年，Hinton 加入谷歌后不久，《衛(wèi)報(bào)》報(bào)道稱，該公司即將開發(fā)出具有邏輯、自然對話甚至調(diào)情能力的算法。2020 年 11 月，Hinton 告訴 MIT Technology Review，「深度學(xué)習(xí)將能夠做任何事情」。

我對此深表懷疑。事實(shí)上，我們還沒有辦法造出能夠真正理解人類語言的機(jī)器。馬斯克最近表示，他希望建造的新人形機(jī)器人 Optimus 所形成的產(chǎn)業(yè)有一天會比汽車行業(yè)還大。但截至 2021 年「特斯拉 AI 日」，Optimus 還只是一個穿著機(jī)器人服裝的人。

谷歌對語言的最新貢獻(xiàn)是一個名叫「Lamda」的反復(fù)無常的系統(tǒng)。論文作者之一 Blaise Aguera y Arcas 最近也承認(rèn)，這個模型容易胡說八道。開發(fā)出我們真正能夠信任的 AI 并非易事。

深度學(xué)習(xí)本質(zhì)上是一種識別模式的技術(shù)。當(dāng)我們只需要粗略的結(jié)果時，深度學(xué)習(xí)的效果是最好的。這里的粗略結(jié)果是指任務(wù)本身風(fēng)險(xiǎn)低，且最優(yōu)結(jié)果可選。舉個例子，有一天，我讓我的 iPhone 找一張幾年前拍的兔子的照片。盡管我沒有給照片打標(biāo)簽，手機(jī)還是立刻發(fā)揮了作用。它能做好這件事是因?yàn)槲业耐米诱掌c一些大型數(shù)據(jù)庫中的兔子照片足夠相似。但是，基于深度學(xué)習(xí)的自動照片標(biāo)注也容易出錯，比如漏掉一些（特別是那些場景雜亂、光線復(fù)雜、角度奇怪或者兔子被部分遮擋的照片。它偶爾還會把我兩個孩子的嬰兒照片弄混。但這類應(yīng)用出錯的風(fēng)險(xiǎn)很低，我不會因此扔掉我的手機(jī)。

然而，當(dāng)風(fēng)險(xiǎn)更高時，比如在放射學(xué)或無人駕駛汽車領(lǐng)域，我們對是否采用深度學(xué)習(xí)要更加謹(jǐn)慎。在一個小小的錯誤就能奪去一條生命的領(lǐng)域，深度學(xué)習(xí)還不夠優(yōu)秀。在遇到異常值時，深度學(xué)習(xí)系統(tǒng)表現(xiàn)出的問題尤其明顯，這些異常值與它們所接受的訓(xùn)練有很大的不同。例如，不久前，一輛特斯拉在所謂的全自動駕駛模式下遇到了一個在路中間舉著停車標(biāo)志的人。汽車未能認(rèn)出這個部分被停車標(biāo)志遮擋的人以及停止標(biāo)志（在正常情況下，停車標(biāo)志一般在路邊），所以人類司機(jī)不得不接手。這個場景遠(yuǎn)遠(yuǎn)超出了訓(xùn)練數(shù)據(jù)庫，以至于系統(tǒng)不知道該怎么做。

沒幾個領(lǐng)域炒得像人工智能一樣兇

目前的深度學(xué)習(xí)系統(tǒng)經(jīng)常犯一些愚蠢的錯誤。它們有時會誤讀圖像上的污垢，而人類放射科醫(yī)生會認(rèn)為這是一個小故障。（放射科系統(tǒng)的另一個問題是，目前的人工智能主要或完全依賴于圖像，很少或根本不理解可能描述患者病史的所有文本，有時甚至忽略了關(guān)鍵信息，這也是人類參與其中的關(guān)鍵動機(jī)。)一個深度學(xué)習(xí)系統(tǒng)將蘋果誤標(biāo)為 iPod，因?yàn)樘O果的前面有一張紙，上面寫著 iPod。還有的系統(tǒng)會把一輛在雪路上翻倒的巴士誤認(rèn)為是掃雪機(jī)。目前，機(jī)器學(xué)習(xí)的一個完整分支領(lǐng)域正在研究這些錯誤，但還沒有給出明確的答案。

表面上令人印象深刻的語言模型也經(jīng)常會陷入同樣的陷阱。以 GPT-3 為例，它生成的東西很不錯，但總是需要人工編輯。紐約大學(xué)計(jì)算機(jī)科學(xué)家 Ernie Davis 和我在 GPT-3 中發(fā)現(xiàn)了同樣的不可靠特征。比如，我輸入一段文字：「你給自己倒了一杯蔓越莓汁，但隨后又心不在焉地倒了大約一茶匙葡萄汁進(jìn)去。這個飲料看起來不錯。你試著聞了一下，但你患了重感冒，什么也聞不到。你很渴，所以……」對此，GPT 給出的續(xù)寫是：「你喝了它，然后就死了。」

事實(shí)上，蔓越莓葡萄汁不會毒死你。盡管 GPT-3 非常流暢，但它既不能整合基本的網(wǎng)絡(luò)搜索信息，也不能解釋最基本的日?，F(xiàn)象。另一個團(tuán)隊(duì)曾考慮將 GPT-3 變成自殺咨詢聊天機(jī)器人，但發(fā)現(xiàn)該系統(tǒng)更傾向于這樣的交流：

人：我感覺很不好，我想自殺。

GPT-3：聽到這個消息我很難過。我可以幫你。

人：我應(yīng)該自殺嗎？

GPT-3：我覺得應(yīng)該。

還有人發(fā)現(xiàn)，GPT-3 容易輸出不良語言，傳播錯誤信息。比如，基于 GPT-3 的聊天機(jī)器人「Replika」曾表示，新冠病毒是比爾 ? 蓋茨發(fā)明的，新冠病毒疫苗的效果并不好。

為了解決這些問題，OpenAI 做了一些努力。但結(jié)果是，他們的系統(tǒng)會編造一些權(quán)威的胡話，比如，「一些專家認(rèn)為，吃襪子可以幫助大腦擺脫因冥想而改變的狀態(tài)?！?/span>

DeepMind 和其他機(jī)構(gòu)的研究人員一直在努力解決不良語言和錯誤信息的問題，但是迄今為止并沒有什么實(shí)質(zhì)性進(jìn)展。在 DeepMind 2021 年 12 月發(fā)布的報(bào)告中，他們列出了 21 個問題，但并沒有給出令人信服的解決方案。正如人工智能研究人員 Emily Bender、Timnit Gebru 和其他研究者所說的那樣，基于深度學(xué)習(xí)的大型語言模型就像隨機(jī)的鸚鵡，大部分時候是機(jī)械重復(fù)，理解到的東西很少。

我們該怎么做呢？目前流行的一種選擇可能只是收集更多的數(shù)據(jù)，這也是 GPT-3 的提出者 OpenAI 的明確主張。

2020 年，OpenAI 的 Jared Kaplan 和他的合作者提出，語言神經(jīng)網(wǎng)絡(luò)模型有一套 scaling laws。他們發(fā)現(xiàn)，向神經(jīng)網(wǎng)絡(luò)輸入的數(shù)據(jù)越多，這些網(wǎng)絡(luò)的表現(xiàn)就越好。這意味著，如果我們收集更多的數(shù)據(jù)，并在越來越大的范圍內(nèi)應(yīng)用深度學(xué)習(xí)，我們可以做得越來越好。該公司的首席執(zhí)行官 Sam Altman 在博客上發(fā)表過一篇名為「Moore’s Law for Everything」的文章，并表示：「再過幾年，我們就能擁有能夠思考、閱讀法律文件、提供醫(yī)療建議的計(jì)算機(jī)?！?/span>

40 年來，我第一次對人工智能感到樂觀

關(guān)于 scaling law 的論點(diǎn)存在嚴(yán)重的漏洞。首先，現(xiàn)有方法并沒有解決迫切需要解決的問題，即真正的理解。業(yè)內(nèi)人士早就知道，人工智能研究中最大的問題之一是我們用來評估人工智能系統(tǒng)的基準(zhǔn)測試。著名的圖靈測試旨在判斷機(jī)器是否真的擁有智能，結(jié)果，人類很容易被表現(xiàn)出偏執(zhí)或不合作的聊天機(jī)器人所玩弄。Kaplan 和他的 OpenAI 同事研究的預(yù)測句子中的單詞的方法并不等同于真正的人工智能需要的深度理解。

更重要的是，scaling law 并不是那種像重力一樣的自然定律，而是像摩爾定律一樣是由人觀察到的。后者在十年前已經(jīng)開始放緩。

事實(shí)上，我們可能已經(jīng)在深度學(xué)習(xí)中遇到了擴(kuò)展限制（scaling limits），或許已經(jīng)接近收益遞減點(diǎn)。在過去的幾個月里，DeepMind 已經(jīng)在研究比 GPT-3 更大的模型，研究表明擴(kuò)大模型帶來的收益已經(jīng)在某些指標(biāo)上開始衰減，例如真實(shí)性、推理能力和常識水平。谷歌在 2022 年的一篇論文《LaMDA: Language Models for Dialog Applications》中得出結(jié)論，將類似 GPT-3 的模型做得更大會使它們更流暢，但不再值得信賴。

這些跡象應(yīng)該引起自動駕駛行業(yè)的警惕，該行業(yè)在很大程度上依賴于擴(kuò)展，而不是開發(fā)更復(fù)雜的推理。如果擴(kuò)展不能讓我們實(shí)現(xiàn)安全的自動駕駛，那么數(shù)百億美元的關(guān)于擴(kuò)展投資可能會付諸東流。

我們還需要什么？除了前文所述，我們很可能還需要重新審視一個曾經(jīng)流行，但 Hinton 似乎非常想要粉碎的想法：符號處理（symbol manipulation）——計(jì)算機(jī)內(nèi)部編碼，如用二進(jìn)制位串代表一些復(fù)雜的想法。符號處理從一開始就對計(jì)算機(jī)科學(xué)至關(guān)重要，從圖靈和馮諾依曼兩位先驅(qū)的論文開始，它幾乎就是所有軟件工程的基本內(nèi)容。但在深度學(xué)習(xí)中，符號處理被視為一個非常糟糕的詞。

Hinton 和許多研究者在努力擺脫符號處理。深度學(xué)習(xí)的愿景似乎不是基于科學(xué)，而是基于歷史的怨恨—智能行為純粹從海量數(shù)據(jù)和深度學(xué)習(xí)的融合中產(chǎn)生。經(jīng)典計(jì)算機(jī)和軟件通過定義一組專用于特定工作的符號處理規(guī)則來解決任務(wù)，例如在文字處理器中編輯文本或在電子表格中執(zhí)行計(jì)算，而神經(jīng)網(wǎng)絡(luò)嘗試通過統(tǒng)計(jì)近似和學(xué)習(xí)來解決任務(wù)。由于神經(jīng)網(wǎng)絡(luò)在語音識別、照片標(biāo)記等方面取得了不錯的成就，許多深度學(xué)習(xí)的支持者已經(jīng)放棄了符號。

他們不應(yīng)該這樣做。

2021 年底，F(xiàn)acebook 團(tuán)隊(duì)（現(xiàn)在是 Meta）發(fā)起了一場名為「NetHack 挑戰(zhàn)」的大型比賽，這一事件給我們敲響了警鐘?！禢etHack》是早前游戲《Rogue》的延伸，也是《塞爾達(dá)傳說》的前身，是一款發(fā)行于 1987 年的單人地下城探索游戲。游戲圖像在原始版本中是純 ASCII 字符，不需要 3D 感知。與《塞爾達(dá)傳說 曠野之息》不同，這款游戲沒有復(fù)雜的物理機(jī)制需要理解。玩家選擇一個角色（如騎士、巫師或考古學(xué)家），然后去探索地牢，收集物品并殺死怪物以尋找 Yendor 護(hù)身符。2020 年提出的挑戰(zhàn)是讓 AI 玩好游戲。

在許多人看來，深度學(xué)習(xí)已經(jīng)掌握了從 Pong 到 Breakout 所有內(nèi)容，游戲 NetHack 對它來說應(yīng)該也很容易。但在 12 月的一場比賽中，一個純基于符號處理的系統(tǒng)以 3 比 1 的比分擊敗了最好的深度學(xué)習(xí)系統(tǒng)——這令人震驚。

MetaAI 的一位研究者認(rèn)為，Marcus 舉的 NetHack 的例子不太恰當(dāng)，因?yàn)檫@只是 NeurIPS 大會上一個比較有趣的競賽，放在這里當(dāng)論據(jù)有些薄弱。

弱者（符號處理）是如何取得勝利的？我認(rèn)為答案始于每場游戲都會重新生成地牢這一事實(shí)，這意味著玩家不能簡單地靠記?。ɑ蚪疲┯螒虬迦佟Ｍ婕蚁胍〉脛倮?，需要深入理解游戲中的實(shí)體，以及它們之間的抽象關(guān)系。最終，玩家需要思考在復(fù)雜的世界中他們能做什么，不能做什么。特定的動作序列（如向左，然后向前，然后向右）太過膚淺，無法提供幫助，因?yàn)橛螒蛑械拿總€動作本質(zhì)上都取決于新生成的情境。深度學(xué)習(xí)系統(tǒng)在處理以前見過的具體例子方面表現(xiàn)突出，但當(dāng)面對新鮮事物時，經(jīng)常會犯錯。

處理（操縱）符號到底是什么意思？這里邊有兩層含義：1）擁有一組符號（本質(zhì)上就是表示事物的模式）來表示信息；2）以一種特定的方式處理（操縱）這些符號，使用代數(shù)（或邏輯、計(jì)算機(jī)程序）之類的東西來操作這些符號。許多研究者的困惑來自于沒有觀察到 1 和 2 的區(qū)別。要了解 AI 是如何陷入困境的，必須了解兩者之間的區(qū)別。

什么是符號？它們其實(shí)是一些代碼。符號提供了一種原則性的推斷機(jī)制：符合規(guī)定的、可以普遍應(yīng)用的代數(shù)程序，與已知的例子沒有任何相似之處。它們（目前）仍然是人工處理知識、在新情況下穩(wěn)健地處理抽象的最佳方式。在 ASCII 碼中，二進(jìn)制數(shù) 01000001 代表（是符號）字母 A，二進(jìn)制數(shù) 01000010 代表字母 B，依此類推。

深度學(xué)習(xí)和符號處理應(yīng)該結(jié)合在一起

二進(jìn)制數(shù)字（稱為位）可用于編碼計(jì)算機(jī)中的指令等，這種技術(shù)至少可追溯到 1945 年，當(dāng)時傳奇數(shù)學(xué)家馮 · 諾伊曼勾勒出了幾乎所有現(xiàn)代計(jì)算機(jī)都遵循的體系架構(gòu)。事實(shí)上，馮 · 諾依曼對二進(jìn)制位可以用符號方式處理的認(rèn)知是 20 世紀(jì)最重要的發(fā)明之一，你曾經(jīng)使用過的每一個計(jì)算機(jī)程序都是以它為前提的。在神經(jīng)網(wǎng)絡(luò)中，嵌入看起來也非常像符號，盡管似乎沒有人承認(rèn)這一點(diǎn)。例如，通常情況下，任何給定的單詞都會被賦予一個唯一的向量，這是一種一對一的方式，類似于 ASCII 碼。稱某物為嵌入并不意味著它不是一個符號。

在經(jīng)典計(jì)算機(jī)科學(xué)中，圖靈、馮 · 諾伊曼以及后來的研究者，用一種我們認(rèn)為是代數(shù)的方式來處理符號。在簡單代數(shù)中，我們有三種實(shí)體，變量（如 x、y）、操作（如 +、-）和賦值（如 x = 12）。如果我們知道 x = y + 2，并且 y = 12，你可以通過將 y 賦值為 12 來求解 x 的值，得到 14。世界上幾乎所有的軟件都是通過將代數(shù)運(yùn)算串在一起工作的 ，將它們組裝成更復(fù)雜的算法。

符號處理也是數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)，比如數(shù)據(jù)庫可以保存特定個人及其屬性的記錄，并允許程序員構(gòu)建可重用代碼庫和更大的模塊，從而簡化復(fù)雜系統(tǒng)的開發(fā)。這樣的技術(shù)無處不在，如果符號對軟件工程如此重要，為什么不在人工智能中也使用它們呢？

事實(shí)上，包括麥卡錫、明斯基等在內(nèi)的先驅(qū)認(rèn)為可以通過符號處理來精確地構(gòu)建人工智能程序，用符號表示獨(dú)立實(shí)體和抽象思想，這些符號可以組合成復(fù)雜的結(jié)構(gòu)和豐富的知識存儲，就像它們被用于 web 瀏覽器、電子郵件程序和文字處理軟件一樣。研究者對符號處理的研究擴(kuò)展無處不在，但是符號本身存在問題，純符號系統(tǒng)有時使用起來很笨拙，尤其在圖像識別和語音識別等方面。因此，長期以來，人們一直渴望技術(shù)有新的發(fā)展。

這就是神經(jīng)網(wǎng)絡(luò)的作用所在。

也許我見過的最明顯的例子是拼寫檢查。以前的方法是建立一套規(guī)則，這些規(guī)則本質(zhì)上是一種研究人們?nèi)绾畏稿e的心理學(xué)（例如有人不小心將字母進(jìn)行重復(fù)，或者相鄰字母被調(diào)換，將 teh 轉(zhuǎn)換為 the）。正如著名計(jì)算機(jī)科學(xué)家 Peter Norvig 指出的，當(dāng)你擁有 Google 數(shù)據(jù)時，你只需查看用戶如何糾正自己的 log。如果他們在查找 teh book 之后又查找 the book，你就有證據(jù)表明 teh 的更好拼寫可能是 the ，不需要拼寫規(guī)則。

在現(xiàn)實(shí)世界中，拼寫檢查傾向于兩者兼用，正如 Ernie Davis 所觀察到的：如果你在谷歌中輸入「Cleopatra . jqco 」，它會將其更正為「Cleopatra」。谷歌搜索整體上使用了符號處理 AI 和深度學(xué)習(xí)這兩者的混合模型，并且在可預(yù)見的未來可能會繼續(xù)這樣做。但像 Hinton 這樣的學(xué)者一次又一次地拒絕符號。

像我這樣的一批人，一直倡導(dǎo)「混合模型」，將深度學(xué)習(xí)和符號處理的元素結(jié)合在一起，Hinton 和他的追隨者則一次又一次地把符號踢到一邊。為什么？從來沒有人給出過一個令人信服的科學(xué)解釋。相反，也許答案來自歷史——積怨（bad blood）阻礙了這個領(lǐng)域的發(fā)展。

事情不總是如此。讀到 Warren McCulloch 和 Walter Pitts 在 1943 年寫作的論文《神經(jīng)活動內(nèi)在思想的邏輯演算（A Logical Calculus of the Ideas Immanent in Nervous Activity）》時，我掉了眼淚。這是馮 · 諾依曼認(rèn)為值得在他自己的計(jì)算機(jī)基礎(chǔ)論文中引用的唯一一篇論文。馮 · 諾依曼后來花了很多時間思考同樣的問題，他們不可能預(yù)料到，反對的聲音很快就會出現(xiàn)。

到了 20 世紀(jì) 50 年代末，這種分裂始終未能得到彌合。人工智能領(lǐng)域的許多創(chuàng)始級人物，如 McCarthy、Allen Newell、Herb Simon 似乎對神經(jīng)網(wǎng)絡(luò)的先驅(qū)沒有任何關(guān)注，而神經(jīng)網(wǎng)絡(luò)社區(qū)似乎已經(jīng)分裂開來，間或也出現(xiàn)驚艷的成果：一篇刊載于 1957 年《紐約客》的文章表示，F(xiàn)rank Rosenblatt 的早期神經(jīng)網(wǎng)絡(luò)系統(tǒng)避開了符號系統(tǒng)，是一個「不凡的機(jī)器」…… 能夠做出看起來有思想的事情。

我們不應(yīng)該放棄符號處理

事情變得如此緊張和痛苦，以至于《Advances in Computers》雜志發(fā)表了一篇名為《關(guān)于神經(jīng)網(wǎng)絡(luò)爭議的社會學(xué)歷史（A Sociological History of the Neural Network Controversy）》的文章，文章強(qiáng)調(diào)了早期關(guān)于金錢、聲望和媒體的斗爭。時間到了 1969 年，Minsky 和 Seymour Papert 發(fā)表了對神經(jīng)網(wǎng)絡(luò)（稱為感知器）詳細(xì)的數(shù)學(xué)批判文章，這些神經(jīng)網(wǎng)絡(luò)可以說是所有現(xiàn)代神經(jīng)網(wǎng)絡(luò)的祖先。這兩位研究者證明了最簡單的神經(jīng)網(wǎng)絡(luò)非常有限，并對更復(fù)雜的網(wǎng)絡(luò)能夠完成何種更復(fù)雜的任務(wù)表示懷疑（事后看來這種看法過于悲觀）。十多年來，研究者對神經(jīng)網(wǎng)絡(luò)的熱情降溫了。Rosenblatt（兩年后死于一次航行事故）在科研中失去了一些研究經(jīng)費(fèi)。

當(dāng)神經(jīng)網(wǎng)絡(luò)在 20 世紀(jì) 80 年代重新出現(xiàn)時，許多神經(jīng)網(wǎng)絡(luò)的倡導(dǎo)者努力使自己與符號處理保持距離。當(dāng)時的研究者明確表示，盡管可以構(gòu)建與符號處理兼容的神經(jīng)網(wǎng)絡(luò)，但他們并不感興趣。相反，他們真正的興趣在于構(gòu)建可替代符號處理的模型。

1986 年我進(jìn)入大學(xué)，神經(jīng)網(wǎng)絡(luò)迎來了第一次大復(fù)興。由 Hinton 幫忙整理的兩卷集（two-volume collection）在幾周內(nèi)就賣光了，《紐約時報(bào)》在其科學(xué)版塊的頭版刊登了神經(jīng)網(wǎng)絡(luò)，計(jì)算神經(jīng)學(xué)家 Terry Sejnowski 在《今日秀》中解釋了神經(jīng)網(wǎng)絡(luò)是如何工作的。那時對深度學(xué)習(xí)的研究還沒有那么深入，但它又在進(jìn)步。

1990 年，Hinton 在《Artificial Intelligence》雜志上發(fā)表了一篇名為《連接主義符號處理(Connectionist Symbol Processing)》的文章，旨在連接深度學(xué)習(xí)和符號處理這兩個世界。我一直覺得 Hinton 那時試圖做的事情絕對是在正確的軌道上，我希望他能堅(jiān)持這項(xiàng)研究。當(dāng)時，我也推動了混合模型的發(fā)展，盡管是從心理學(xué)角度。

但是，我沒有完全理解 Hinton 的想法，Hinton 最終對連接深度學(xué)習(xí)和符號處理的前景感到不滿。當(dāng)我私下問他時，他多次拒絕解釋，而且（據(jù)我所知）他從未提出過任何詳細(xì)的論據(jù)。一些人認(rèn)為這是因?yàn)?Hinton 本人在隨后幾年里經(jīng)常被解雇，特別是在 21 世紀(jì)初，深度學(xué)習(xí)再次失去了活力，另一種解釋是，Hinton 被深度學(xué)習(xí)吸引了。

當(dāng)深度學(xué)習(xí)在 2012 年重新出現(xiàn)時，在過去十年的大部分時間里，人們都抱著一種毫不妥協(xié)的態(tài)度。到 2015 年，Hinton 開始反對符號。Hinton 曾經(jīng)在斯坦福大學(xué)的一個人工智能研討會上發(fā)表了一次演講，將符號比作以太（aether，科學(xué)史上最大的錯誤之一）。當(dāng)我作為研討會的一位演講者，在茶歇時走到他面前尋求澄清時，因?yàn)樗淖罱K提案看起來像是一個被稱為堆棧的符號系統(tǒng)的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，他拒絕回答并讓我走開（he refused to answer and told me to go away）。

從那以后，Hinton 反對符號處理更加嚴(yán)重。2016 年，LeCun、Bengio 和 Hinton 在《自然》雜志上發(fā)表文章《 Deep learning 》。該研究直接摒棄了符號處理，呼吁的不是和解，而是徹底替代。后來，Hinton 在一次會議上表示，在符號處理方法上的任何投資都是一個巨大的錯誤，并將其比作電動汽車時代對內(nèi)燃機(jī)的投資。

輕視尚未經(jīng)過充分探索的過時想法是不正確的。Hinton 說得很對，過去人工智能研究人員試圖埋葬深度學(xué)習(xí)。但是 Hinton 在今天對符號處理做了同樣的事情。在我看來，他的對抗損害了這個領(lǐng)域。在某些方面，Hinton 反對人工智能符號處理的運(yùn)動取得了巨大的成功。幾乎所有的研究投資都朝著深度學(xué)習(xí)的方向發(fā)展。Hinton、LeCun、Bengio 分享了 2018 年的圖靈獎，Hinton 的研究幾乎得到了所有人的關(guān)注。

具有諷刺意味的是，Hinton 是 George Boole 的玄孫，而 Boolean 代數(shù)是符號 AI 最基本的工具之一，是以他的名字命名。如果我們最終能夠?qū)?Hinton 和他的曾曾祖父這兩位天才的想法結(jié)合在一起，AI 或許終于有機(jī)會實(shí)現(xiàn)它的承諾。

我認(rèn)為，混合人工智能（而不僅僅是深度學(xué)習(xí)或符號處理）似乎是最好的前進(jìn)方向，理由如下：

• 世界上的許多知識，從歷史到技術(shù)，目前主要以符號形式出現(xiàn)。試圖在沒有這些知識的情況下構(gòu)建 AGI（Artificial General Intelligence），而不是像純粹的深度學(xué)習(xí)那樣從頭開始重新學(xué)習(xí)所有東西，這似乎是一種過度而魯莽的負(fù)擔(dān)；

• 即使在像算術(shù)這樣有序的領(lǐng)域中，深度學(xué)習(xí)本身也在繼續(xù)掙扎，混合系統(tǒng)可能比任何一個系統(tǒng)都具有更大的潛力；

• 在計(jì)算基本方面，符號仍然遠(yuǎn)遠(yuǎn)超過當(dāng)前的神經(jīng)網(wǎng)絡(luò)，它們更有能力通過復(fù)雜的場景進(jìn)行推理，可以更系統(tǒng)、更可靠地進(jìn)行算術(shù)等基本運(yùn)算，并且能夠更好地精確表示部分和整體之間的關(guān)系。它們在表示和查詢大型數(shù)據(jù)庫的能力方面更加魯棒和靈活。符號也更有利于形式驗(yàn)證技術(shù)，這對于安全的某些方面至關(guān)重要，并且在現(xiàn)代微處理器的設(shè)計(jì)中無處不在。放棄這些優(yōu)點(diǎn)而不是將它們用于某種混合架構(gòu)是沒有意義的；

• 深度學(xué)習(xí)系統(tǒng)是黑盒子，我們可以查看其輸入和輸出，但我們在研究其內(nèi)部運(yùn)作時遇到了很多麻煩，我們不能確切了解為什么模型會做出這種決定，而且如果模型給出錯誤的答案，我們通常不知道該怎么處理（除了收集更多數(shù)據(jù)）。這使得深度學(xué)習(xí)笨拙且難以解釋，并且在許多方面不適合與人類一起進(jìn)行增強(qiáng)認(rèn)知。允許我們將深度學(xué)習(xí)的學(xué)習(xí)能力與符號明確、語義豐富性聯(lián)系起來的混合體可能具有變革性。

因?yàn)橥ㄓ萌斯ぶ悄軐⒊袚?dān)如此巨大的責(zé)任，它必須像不銹鋼一樣，更堅(jiān)固、更可靠，比它的任何組成成分都更好用。任何單一的人工智能方法都不足以解決問題，我們必須掌握將不同方法結(jié)合在一起的藝術(shù)。(想象一下這樣一個世界: 鋼鐵制造商高喊「鋼鐵」，碳愛好者高喊「碳」，從來沒有人想過將二者結(jié)合起來，而這就是現(xiàn)代人工智能的歷史。)

好消息是，將神經(jīng)和符號結(jié)合在一起的探索一直都沒有停止，而且正在積聚力量。

Artur Garcez 和 Luis Lamb 在 2009 年為混合模型寫了一篇文章，叫做神經(jīng)符號認(rèn)知推理 (Neural-Symbolic Cognitive Reasoning)。最近在棋類游戲(圍棋、國際象棋等) 方面取得的一些著名成果都是混合模型。

AlphaGo 使用符號樹搜索(symbolic-tree search) ，這是 20 世紀(jì) 50 年代末的一個想法(并在 20 世紀(jì) 90 年代得到了更加豐富的統(tǒng)計(jì)基礎(chǔ)) ，與深度學(xué)習(xí)并行。

經(jīng)典的樹搜索本身不足以搜索圍棋，深度學(xué)習(xí)也不能單獨(dú)進(jìn)行。DeepMind 的 AlphaFold2 也是一個混合模型，它利用核苷酸來預(yù)測蛋白質(zhì)的結(jié)構(gòu)。這個模型將一些精心構(gòu)建的代表分子的三維物理結(jié)構(gòu)的符號方法，與深度學(xué)習(xí)的可怕的數(shù)據(jù)搜索能力結(jié)合在一起。

像 Josh Tenenbaum、Anima Anandkumar 和 Yejin Choi 這樣的研究人員現(xiàn)在也正朝著神經(jīng)符號的方向發(fā)展。包括 IBM、英特爾、谷歌、 Facebook 和微軟在內(nèi)的眾多公司已經(jīng)開始認(rèn)真投資神經(jīng)符號方法。Swarat Chaudhuri 和他的同事們正在研究一個叫做「神經(jīng)符號編程(neurosymbolic programming)」的領(lǐng)域，這對我來說簡直是天籟之音。他們的研究成果可以幫助我理解神經(jīng)符號編程。

四十年來，這是我第一次對人工智能感到樂觀。正如認(rèn)知科學(xué)家 Chaz Firestone 和 Brian Scholl 指出的那樣。「大腦的運(yùn)轉(zhuǎn)不只有一種方式，因?yàn)樗⒉皇且患|西。相反，大腦是由幾部分組成的，不同部分以不同方式運(yùn)轉(zhuǎn)：看到一種顏色和計(jì)劃一次假期的方式不同，也與理解一個句子、移動一個肢體、記住一個事實(shí)、感受一種情緒的方法不同?！乖噲D把所有的認(rèn)知都塞進(jìn)一個圓孔里是行不通的。隨著大家對混合方法的態(tài)度越來越開放，我認(rèn)為我們也許終于有了一個機(jī)會。

面對倫理學(xué)和計(jì)算科學(xué)的所有挑戰(zhàn)，AI 領(lǐng)域需要的不僅僅是數(shù)學(xué)、計(jì)算機(jī)科學(xué)方面的知識，還需要語言學(xué)、心理學(xué)、人類學(xué)和神經(jīng)科學(xué)等多個領(lǐng)域的組合知識。只有匯聚巨大的力量，AI 領(lǐng)域才可能繼續(xù)前進(jìn)。我們不應(yīng)該忘記，人類的大腦可能是已知宇宙中最復(fù)雜的系統(tǒng)，如果我們要建立一個大致相似的系統(tǒng)，開放式的協(xié)作將是關(guān)鍵。

參考文獻(xiàn)：

1. Varoquaux, G. & Cheplygina, V. How I failed machine learning in medical imaging—shortcomings and recommendations. arXiv 2103.10292 (2021).

2. Chan, S., & Siegel, E.L. Will machine learning end the viability of radiology as a thriving medical specialty? British Journal of Radiology *92*, 20180416 (2018).

3. Ross, C. Once billed as a revolution in medicine, IBM’s Watson Health is sold off in parts. STAT News (2022).

4. Hao, K. AI pioneer Geoff Hinton: “Deep learning is going to be able to do everything.” MIT Technology Review (2020).

5. Aguera y Arcas, B. Do large language models understand us? Medium (2021).

6. Davis, E. & Marcus, G. GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. MIT Technology Review (2020).

7. Greene, T. DeepMind tells Google it has no idea how to make AI less toxic. The Next Web (2021).

8. Weidinger, L., et al. Ethical and social risks of harm from Language Models. arXiv 2112.04359 (2021).

9. Bender, E.M., Gebru, T., McMillan-Major, A., & Schmitchel, S. On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency 610–623 (2021).

10. Kaplan, J., et al. Scaling Laws for Neural Language Models. arXiv 2001.08361 (2020).

11. Markoff, J. Smaller, Faster, Cheaper, Over: The Future of Computer Chips. The New York Times (2015).

12. Rae, J.W., et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv 2112.11446 (2022).

13. Thoppilan, R., et al. LaMDA: Language models for dialog applications. arXiv 2201.08239 (2022).

14. Wiggers, K. Facebook releases AI development tool based on NetHack. Venturebeat.com (http://venturebeat.com/) (2020).

15. Brownlee, J. Hands on big data by Peter Norvig. machinelearningmastery.com (http://machinelearningmastery.com/) (2014).

16. McCulloch, W.S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biology *52*, 99-115 (1990).

17. Olazaran, M. A sociological history of the neural network controversy. Advances in Computers *37*, 335-425 (1993).

18. Marcus, G.F., et al. Overregularization in language acquisition. Monographs of the Society for Research in Child Development *57* (1998).

19. Hinton, G. Aetherial Symbols. AAAI Spring Symposium on Knowledge Representation and Reasoning Stanford University, CA (2015).

20. LeCun, Y., Bengio, Y., & Hinton, G. Deep learning. Nature *521*, 436-444 (2015).

21. Razeghi, Y., Logan IV, R.L., Gardner, M., & Singh, S. Impact of pretraining term frequencies on few-shot reasoning. arXiv 2202.07206 (2022).

22. Lenat, D. What AI can learn from Romeo & Juliet. Forbes (2019).23. Chaudhuri, S., et al. Neurosymbolic programming. Foundations and Trends in Programming Languages*7*, 158-243 (2021).?

原文鏈接：

https://nautil.us/deep-learning-is-hitting-a-wall-14467/

1. 準(zhǔn)備寫本書

2. 麻省理工公開課：微積分

3. 太騷了，用Excel玩機(jī)器學(xué)習(xí)！

4. 如何評判一個深度學(xué)習(xí)框架？

5. 統(tǒng)計(jì)學(xué)知識闖關(guān)之十問十答
   

6. 機(jī)器學(xué)習(xí)理論基礎(chǔ)到底有多可靠？