轉(zhuǎn)自：新智元

今天的主角，是一對AI界相愛相殺的老冤家：

Yann LeCun和Gary Marcus

在正式講述這一次的「新仇」之前，我們先來回顧一下，兩位大神的「舊恨」。

LeCun與Marcus之爭

Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，2018年圖靈獎（Turing Award）得主楊立昆（Yann LeCun）在NOEMA雜志發(fā)表文章，回應(yīng)此前Gary Marcus對AI與深度學(xué)習(xí)的評論。

此前，Marcus在雜志Nautilus中發(fā)文，稱深度學(xué)習(xí)已經(jīng)「無法前進(jìn)」

Marcus此人，屬于是看熱鬧的不嫌事大的主。

一有點風(fēng)吹草動，就發(fā)言「AI已死」，掀起圈內(nèi)軒然大波！

此前多次發(fā)文，稱GPT-3為「Nonsense」「bullshit」。

鐵證在此：

好家伙，竟說「深度學(xué)習(xí)撞墻了」，看到如此猖獗的評論，AI界的大牛LeCun可坐不住了，立馬發(fā)文回應(yīng)！

并表示，你想對線我奉陪！

LeCun在文中把Marcus的觀點一一懟了個遍。

我們一起看一下大神是如何撰文回懟的吧~~

以下是LeCun的長文：

當(dāng)代人工智能的主導(dǎo)技術(shù)是深度學(xué)習(xí)（DL）神經(jīng)網(wǎng)絡(luò)（NN），這是一種大規(guī)模的自學(xué)習(xí)算法，擅長識別和利用數(shù)據(jù)中的模式。從一開始，批判者們就過早地認(rèn)為，神經(jīng)網(wǎng)絡(luò)已經(jīng)撞上了「一堵不可逾越的墻」，然而每一次，它都被證明是一個暫時的障礙。

在20世紀(jì)60年代，NN還不能解出非線性函數(shù)。但這種情況并沒有持續(xù)很長時間，在20世紀(jì)80年代隨著反向傳播（Backpropagation）的出現(xiàn)得以改變，但是新的「不可逾越的墻」又出現(xiàn)了，即訓(xùn)練系統(tǒng)十分困難。

在20世紀(jì)90年代，人類有研究出了簡化程序和標(biāo)準(zhǔn)化架構(gòu)，這使得訓(xùn)練更加可靠，但無論取得什么樣的成績，好像永遠(yuǎn)都會存在一堵「不可逾越的墻」，這一次是缺乏訓(xùn)練數(shù)據(jù)和計算的能力。

2012年，當(dāng)最新的GPU可以在龐大的ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練時，深度學(xué)習(xí)開始成為主流，輕松地?fù)魯×怂懈偁帉κ?。但隨后，就出現(xiàn)了質(zhì)疑的聲音：人們發(fā)現(xiàn)了「一堵新墻」——深度學(xué)習(xí)訓(xùn)練需要大量的手工標(biāo)注的數(shù)據(jù)。

不過在過去的幾年里，這種質(zhì)疑變得不再有意義，因為自監(jiān)督學(xué)習(xí)已經(jīng)取得了相當(dāng)不錯的效果，比如不需要標(biāo)記數(shù)據(jù)的GPT-3。

現(xiàn)如今似乎不可逾越的障礙是「符號推理」，即以代數(shù)或邏輯的方式操作符號的能力。正如我們小時候?qū)W到的，解決數(shù)學(xué)問題需要根據(jù)嚴(yán)格的規(guī)則一步一步地處理符號(例如，解方程)。

《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近認(rèn)為，DL無法取得進(jìn)一步進(jìn)展，是因為神經(jīng)網(wǎng)絡(luò)難以處理這種符號操作。與之相對的是，許多DL研究人員相信DL已經(jīng)在進(jìn)行符號推理，并將繼續(xù)改進(jìn)。

這場爭論的核心是符號在人工智能中的作用，存在著兩種不同看法：一種認(rèn)為符號推理必須從一開始就被硬編碼，而另一種則認(rèn)為機(jī)器可以通過經(jīng)驗學(xué)習(xí)到符號推理的能力。因此，問題的關(guān)鍵在于我們應(yīng)該如何理解人類智能，從而，又應(yīng)該如何追求能夠具有人類水平的人工智能。

不同類型的人工智能

符號推理最重要的是精確:根據(jù)排列組合，符號可以有很多種不同的順序，比如「(3-2)-1和3-(2-1)」之間的差異很重要，所以如何以正確的順序執(zhí)行正確的符號推理是至關(guān)重要的。

Marcus認(rèn)為，這種推理是認(rèn)知的核心，對于為語言提供潛在的語法邏輯和為數(shù)學(xué)提供基本操作至關(guān)重要。他認(rèn)為這可以延伸到我們更基本的能力，在這些能力的背后，存在著一個潛在的符號邏輯。

而我們所熟知的人工智能，它就是從研究這種推理開始的，通常被稱為「符號人工智能」。但是將人類的專業(yè)知識提煉成一組規(guī)則是非常具有挑戰(zhàn)性的，會消耗巨大的時間成本和人力成本。這就是所謂的「知識獲取瓶頸」。

雖然為數(shù)學(xué)或邏輯編寫規(guī)則很簡單，但世界本身是非黑即白的、是非常模糊的，事實證明，人類不可能編寫出控制每個模式的規(guī)則或者為每一個模糊的概念定義符號。

但是，科技發(fā)展到現(xiàn)在，造就出了神經(jīng)網(wǎng)絡(luò)，而神經(jīng)網(wǎng)絡(luò)最擅長的地方就是發(fā)現(xiàn)模式并接受模糊性。

神經(jīng)網(wǎng)絡(luò)是一個相對簡單的方程，它學(xué)習(xí)一個函數(shù)，為輸入到系統(tǒng)的任何東西提供適當(dāng)?shù)妮敵觥?/span>

例如，訓(xùn)練一個二分類網(wǎng)絡(luò)，通過將大量的樣本數(shù)據(jù)（此處拿椅子作為例子）放入神經(jīng)網(wǎng)絡(luò)，對其進(jìn)行若干個epoch的訓(xùn)練，最后實現(xiàn)讓該網(wǎng)絡(luò)成功推斷出新圖片是否是椅子。

說白了，這不僅是單純的關(guān)乎人工智能的問題，更本質(zhì)的是，到底什么是智能以及人類的大腦又是如何工作的問題?！?/span>

這些神經(jīng)網(wǎng)絡(luò)可以精確訓(xùn)練，因為實現(xiàn)它的函數(shù)是可微的。換句話說，如果符號AI類似于符號邏輯中使用的離散token，那么神經(jīng)網(wǎng)絡(luò)就是微積分的連續(xù)函數(shù)。

這允許通過微調(diào)參數(shù)來學(xué)習(xí)更好的表示，這意味著它可以更恰到好處的去擬合數(shù)據(jù)，而不出現(xiàn)欠擬合或者過擬合的問題。然而，當(dāng)涉及到嚴(yán)格的規(guī)則和離散token時，這種流動性帶來了新的「一堵墻」:當(dāng)我們求解一個方程時，我們通常想要確切的答案，而不是近似的答案。

這正是Symbolic AI的亮點所在，所以Marcus建議將二者簡單地結(jié)合起來:在DL模塊之上插入一個硬編碼的符號操作模塊。

這是很有吸引力的，因為這兩種方法可以很好地互補(bǔ)，所以看起來，具有不同工作方式的模塊“混合”，將最大化兩種方法的優(yōu)勢。

但爭論的焦點轉(zhuǎn)向了是否需要將符號操作內(nèi)置到系統(tǒng)中，在系統(tǒng)中，符號和操作能力是由人類設(shè)計的，而該模塊不可微的——因此與DL不兼容。

傳奇的「符號推理」

這個假設(shè)是非常有具爭議性的。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)認(rèn)為，我們不需要手工進(jìn)行符號推理，而是可以學(xué)習(xí)符號推理，即用符號的例子訓(xùn)練機(jī)器進(jìn)行正確類型的推理，可以讓它學(xué)習(xí)抽象模式的完成。簡而言之，機(jī)器可以學(xué)習(xí)操作世界上的符號，盡管沒有內(nèi)置的手工制作的符號和符號操作規(guī)則。

當(dāng)代大型語言模型(如GPT-3和LaMDA)顯示了這種方法的潛力。他們操縱符號的能力令人印嘆為觀止，這些模型表現(xiàn)出了驚人的常識推理、組合能力、多語言能力、邏輯和數(shù)學(xué)能力，甚至有模仿死者的可怕能力。

但其實這樣做并不可靠。如果你讓DALL-E制作一個羅馬雕塑，一個留著胡子、戴著眼鏡、穿著熱帶襯衫的哲學(xué)家，那它會很出色。但是如果你讓它畫一只戴著粉色玩具的小獵犬，去追逐一只松鼠，有時你會得到一只戴著粉色小獵犬或松鼠。

當(dāng)它可以將所有屬性分配給一個對象時，它做得很好，但當(dāng)有多個對象和多個屬性時，它就會處于懵逼狀態(tài)。許多研究人員的態(tài)度是，這是DL在通往更像人類的智能道路上的「一堵墻」。

那么符號化操作到底是需要硬編碼?還是可學(xué)習(xí)的呢?

這并不是Marcus的理解。

他假設(shè)符號推理是全有或全無的——因為DALL-E沒有符號和邏輯規(guī)則作為其操作的基礎(chǔ)，它實際上不是用符號進(jìn)行推理。因此，大型語言模型的無數(shù)次失敗表明它們不是真正的推理，而只是沒有感情的機(jī)械模仿。

對Marcus來說，爬上一棵足夠大的樹是不可能到達(dá)月球的。因此，他認(rèn)為目前的DL語言模型并不比Nim Chimpsky（一只會使用美國手語的雄性黑猩猩）基更接近真正的語言。DALL-E的問題不是缺乏訓(xùn)練。它們只是系統(tǒng)沒有掌握句子潛在的邏輯結(jié)構(gòu)，因此不能正確地掌握不同部分應(yīng)該如何連接成一個整體。

相比之下，Geoffrey Hinton等人認(rèn)為神經(jīng)網(wǎng)絡(luò)不需要硬編碼符號和代數(shù)推理既可以成功地操縱符號。DL的目標(biāo)不是機(jī)器內(nèi)部的符號操作，而是學(xué)會從世界上的系統(tǒng)中產(chǎn)生正確的符號。

拒絕將兩種模式混合并非草率的，而是基于一個人是否認(rèn)為符號推理可以學(xué)習(xí)的哲學(xué)性差異。

人類思想的底層邏輯

Marcus對DL的批評源于認(rèn)知科學(xué)中的一場相關(guān)爭論，即智能是如何運作的，以及是什么讓人類獨一無二。他的觀點與心理學(xué)中一個著名的「本土主義」學(xué)派一致，該學(xué)派認(rèn)為認(rèn)知的許多關(guān)鍵特征是天生的——實際上，我們在很大程度上生來就知道世界是如何運轉(zhuǎn)的。

這種與生俱來的感知的核心是符號操作的能力（但是這究竟是在整個自然中發(fā)現(xiàn)的，還是人類特有的，尚且沒有結(jié)論)。對Marcus來說，這種符號操作能力奠定了常識的許多基本特征：遵循規(guī)則、抽象、因果推理、重新識別細(xì)節(jié)、泛化和許多其他能力。

簡而言之，我們對世界的很多理解都是自然賦予的，學(xué)習(xí)就是充實細(xì)節(jié)。

還有另一種經(jīng)驗主義觀點打破了上述想法：符號操縱在自然界中是罕見的，主要是我們的古人類祖先在過去200萬年中逐漸獲得的一種學(xué)習(xí)交流能力。

從這個觀點來看，主要的認(rèn)知能力是非符號學(xué)習(xí)能力，與提高生存能力有關(guān)，比如快速識別獵物，預(yù)測它們可能的行動，以及發(fā)展熟練的反應(yīng)。

這一觀點認(rèn)為，絕大多數(shù)復(fù)雜的認(rèn)知能力都是通過一般的、自監(jiān)督的學(xué)習(xí)能力獲得的。它還假設(shè)，我們的大部分復(fù)雜認(rèn)知能力不會依賴于符號操作。相反，他們通過模擬各種場景并預(yù)測最佳結(jié)果。

這種經(jīng)驗主義的觀點認(rèn)為符號和符號操縱只是另一種習(xí)得的能力，是隨著人類越來越依賴合作行為來獲得成功而獲得的能力。這將符號視為我們用來協(xié)調(diào)團(tuán)隊間合作的發(fā)明——比如文字，但也包括地圖、標(biāo)志性描述、儀式甚至社會角色。

這兩種觀點之間的差異非常明顯。對于本土主義傳統(tǒng)來說，符號和符號操縱原本就在頭腦中，對單詞和數(shù)字的使用也源自這種原始能力。這一觀點很有吸引力地解釋了那些源自進(jìn)化適應(yīng)的能力(盡管對符號操縱如何進(jìn)化或為什么進(jìn)化的解釋一直存在爭議)。

從經(jīng)驗主義傳統(tǒng)角度看，符號和符號推理是一項有用的交流發(fā)明，它源于一般的學(xué)習(xí)能力和我們復(fù)雜的社會世界。這將內(nèi)部計算和內(nèi)心獨白等發(fā)生在我們頭腦中的象征性事物，視為源自于數(shù)學(xué)和語言使用的外部實踐。

人工智能和認(rèn)知科學(xué)領(lǐng)域是緊密交織的，所以這些爭斗在這里重現(xiàn)也就不足為奇了。既然人工智能中任一觀點的成功都將部分(但僅部分)證明認(rèn)知科學(xué)中的一種或另一種方法是正確的，那么這些辯論的激烈程度也就不足為奇了。

問題的關(guān)鍵不僅在于如何正確地解決當(dāng)代人工智能領(lǐng)域的問題，還在于解決智能是什么以及大腦如何工作。

對AI，是押注，還是做空？

為什么「深度學(xué)習(xí)撞墻」的說法這樣具有挑釁性？

如果Marcus是對的，那深度學(xué)習(xí)將永遠(yuǎn)無法實現(xiàn)與人類相似的AI，無論它提出了多少新的架構(gòu)，也不管它投入了多少計算能力。

為神經(jīng)網(wǎng)絡(luò)繼續(xù)添加更多的層只會讓人更加困惑，因為真正的符號操縱需要一個天生的符號操縱者。由于這種符號化操作是幾種常識能力的基礎(chǔ)，所以DL只會對任何東西都「不求甚解」。

相比之下，如果DL的提倡者和經(jīng)驗主義者是正確的，那么令人困惑的是插入一個用于符號操縱的模塊的想法。

在這種情況下，深度學(xué)習(xí)系統(tǒng)已經(jīng)在進(jìn)行符號推理，并將繼續(xù)改進(jìn)，因為它們通過更多的多模態(tài)自監(jiān)督學(xué)習(xí)、越來越有用的預(yù)測世界模型以及用于模擬和評估結(jié)果的工作內(nèi)存的擴(kuò)展來更好的滿足約束。

引入符號操作模塊不會創(chuàng)造出更像人類的AI，相反會迫使所有的「推理」操作通過一個不必要的瓶頸，這將使我們更加遠(yuǎn)離「類人智能」。這可能會切斷深度學(xué)習(xí)最激動人心的一個方面:它能夠提出超過人類的完美解決方案。

話說回來，這些都不能證明那些愚蠢的炒作是正確的：由于當(dāng)前的系統(tǒng)沒有意識，所以它們不能理解我們，強(qiáng)化學(xué)習(xí)是不夠的，你不能僅僅通過擴(kuò)大規(guī)模來構(gòu)建類人智能。但所有這些問題都是主要爭論的「擦邊問題」：符號操作到底是需要硬編碼?還是可學(xué)習(xí)?

這是在呼吁停止研究混合模型(即具有不可微符號操縱器的模型)嗎?當(dāng)然不是。人們應(yīng)該選擇有效的方法。

但是，研究人員自20世紀(jì)80年代以來一直在研究混合模型，不過它們還沒有被證明是一種有效的方式，在許多情況下，有可能甚至遠(yuǎn)不如神經(jīng)網(wǎng)絡(luò)。

更通俗地說，人們應(yīng)該懷疑深度學(xué)習(xí)是否達(dá)到了上限。

參考資料：

https://www.noemamag.com/what-ai-can-tell-us-about-intelligence/

往期精彩：

講解視頻來了！機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實現(xiàn)開錄！

完結(jié)！《機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實現(xiàn)》全書1-26章PPT下載

《機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實現(xiàn)》隨書PPT示例

時隔一年！深度學(xué)習(xí)語義分割理論與代碼實踐指南.pdf第二版來了！

新書首發(fā) | 《機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實現(xiàn)》正式出版！

《機(jī)器學(xué)習(xí)公式推導(dǎo)與代碼實現(xiàn)》將會配套PPT和視頻講解！