來源：ScienceAI
本文約2600字，建議閱讀5分鐘
本文用深度學(xué)習(xí)為你解釋神經(jīng)網(wǎng)絡(luò)。

在過去的 10 年里，性能最好的人工智能系統(tǒng)——比如智能手機(jī)上的語音識別器或谷歌最新的自動翻譯器——都是由一種稱為「深度學(xué)習(xí)」的技術(shù)產(chǎn)生的。

深度學(xué)習(xí)實際上是一種稱為神經(jīng)網(wǎng)絡(luò)的人工智能方法的新名稱，70 多年來一直時興時衰。神經(jīng)網(wǎng)絡(luò)最初是由 Warren McCullough 和 Walter Pitts 于 1944 年提出的，這兩位芝加哥大學(xué)的研究人員于 1952 年搬到麻省理工學(xué)院，他們有時被稱為第一個認(rèn)知科學(xué)系的創(chuàng)始成員。

神經(jīng)網(wǎng)絡(luò)是神經(jīng)科學(xué)和計算機(jī)科學(xué)的一個主要研究領(lǐng)域，直到 1969 年，根據(jù)計算機(jī)科學(xué)的傳說，他們被麻省理工學(xué)院的數(shù)學(xué)家 Marvin Minsky 和 Seymour Papert 「扼殺」了。一年后，Marvin Minsky 和 Seymour Papert 成為麻省理工學(xué)院新的人工智能實驗室的聯(lián)合主任。

該技術(shù)隨后在 20 世紀(jì) 80 年代復(fù)興，在新世紀(jì)的第一個十年再次陷入衰退，并在第二個十年如火如荼地回歸，主要是由于圖形芯片處理能力的提高。

麻省理工學(xué)院麥戈文腦科學(xué)研究所研究員、麻省理工學(xué)院大腦、思想和機(jī)器中心、麻省理工學(xué)院腦與認(rèn)知科學(xué)教授 Tomaso Poggio 說：「有一種觀點認(rèn)為科學(xué)中的想法有點像病毒的流行。?顯然有五六種基本的流感病毒株，而且顯然每一種都會在大約 25 年的時間內(nèi)回歸。人們被感染后會產(chǎn)生免疫反應(yīng)，因此在接下來的 25 年內(nèi)不會被感染。然后新的一代，將被同一株病毒感染。在科學(xué)中，人們會愛上一個想法，為之興奮，將其錘死，然后免疫——他們厭倦了它。所以思想應(yīng)該有同樣的周期性！」

重大事項

神經(jīng)網(wǎng)絡(luò)是進(jìn)行機(jī)器學(xué)習(xí)的一種手段，計算機(jī)通過分析訓(xùn)練示例來學(xué)習(xí)執(zhí)行某些任務(wù)。通常，這些示例已經(jīng)預(yù)先進(jìn)行了手工標(biāo)記。例如，對象識別系統(tǒng)可能會收到數(shù)千張帶有汽車、房屋、咖啡杯等標(biāo)簽的圖像，它會在圖像中找到與特定標(biāo)簽一致相關(guān)的視覺模式。

神經(jīng)網(wǎng)絡(luò)以人腦為模型，由數(shù)千甚至數(shù)百萬個緊密互連的簡單處理節(jié)點組成。今天的大多數(shù)神經(jīng)網(wǎng)絡(luò)都被組織成節(jié)點層，它們是「前饋」的，這意味著數(shù)據(jù)只能在一個方向上通過它們。一個單獨的節(jié)點可以連接到它下面一層的幾個節(jié)點，從那里接收數(shù)據(jù)，并連接到它上面一層的幾個節(jié)點，向那里發(fā)送數(shù)據(jù)。

對于每個傳入的連接，節(jié)點將分配一個稱為「權(quán)重」的數(shù)字。當(dāng)網(wǎng)絡(luò)處于活動狀態(tài)時，節(jié)點在其每個連接上接收不同的數(shù)據(jù)項(不同的數(shù)字)，并將其乘以相關(guān)的權(quán)重。然后將結(jié)果乘積加在一起，產(chǎn)生一個數(shù)字。如果該數(shù)字低于閾值，則節(jié)點不會將數(shù)據(jù)傳遞到下一層。如果數(shù)量超過閾值，則節(jié)點「觸發(fā)」，這在當(dāng)今的神經(jīng)網(wǎng)絡(luò)中，通常意味著沿其所有輸出連接發(fā)送數(shù)字——加權(quán)輸入的總和。

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，其所有權(quán)重和閾值最初都設(shè)置為隨機(jī)值。訓(xùn)練數(shù)據(jù)被饋送到底層——輸入層——它通過后續(xù)層，以復(fù)雜的方式相乘和相加，直到最終到達(dá)輸出層，徹底改變。在訓(xùn)練期間，權(quán)重和閾值會不斷調(diào)整，直到具有相同標(biāo)簽的訓(xùn)練數(shù)據(jù)始終產(chǎn)生相似的輸出。

頭腦和機(jī)器

McCullough 和 Pitts 在 1944 年描述的神經(jīng)網(wǎng)絡(luò)有閾值和權(quán)重，但沒有分層，研究人員也沒有指定任何訓(xùn)練機(jī)制。McCullough 和 Pitts 表明，原則上，神經(jīng)網(wǎng)絡(luò)可以計算數(shù)字計算機(jī)可以計算的任何函數(shù)。結(jié)果是神經(jīng)科學(xué)而不是計算機(jī)科學(xué)：重點是表明人腦可以被認(rèn)為是一種計算設(shè)備。

神經(jīng)網(wǎng)絡(luò)仍然是神經(jīng)科學(xué)研究的寶貴工具。例如，用于調(diào)整權(quán)重和閾值的特定網(wǎng)絡(luò)布局或規(guī)則，再現(xiàn)了觀察到的人類神經(jīng)解剖學(xué)和認(rèn)知特征，這表明它們捕獲了大腦如何處理信息的某些信息。

1957 年，康奈爾大學(xué)心理學(xué)家 Frank Rosenblatt 展示了第一個可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)——感知器。感知器的設(shè)計與現(xiàn)代神經(jīng)網(wǎng)絡(luò)的設(shè)計非常相似，只是它只有一層，權(quán)重和閾值可調(diào)，夾在輸入層和輸出層之間。

在 1959 年之前，感知器一直是心理學(xué)和計算機(jī)科學(xué)新興學(xué)科的活躍研究領(lǐng)域，當(dāng)時 Minsky 和 Papert 出版了一本名為《感知器》的書，該書表明在感知器上執(zhí)行某些相當(dāng)常見的計算會非常耗時。

「當(dāng)然，如果你采用稍微復(fù)雜一點的機(jī)器——比如兩層，所有這些限制都會消失，」Poggio 說。但當(dāng)時，這本書對神經(jīng)網(wǎng)絡(luò)研究產(chǎn)生了寒蟬效應(yīng)。

「你必須把這些事情放在歷史背景下，」Poggio 說。「他們在爭論編程——像 Lisp 這樣的語言。不久之前，人們還在使用模擬計算機(jī)。當(dāng)時根本不清楚編程要走的路。我認(rèn)為他們有點過火了，但像往常一樣，這不是黑白分明的。如果你認(rèn)為這是模擬計算和數(shù)字計算之間的競爭，他們在為當(dāng)時正確的事情而戰(zhàn)?！?/span>

周期性

然而，到 20 世紀(jì) 80 年代，研究人員已經(jīng)開發(fā)出修改神經(jīng)網(wǎng)絡(luò)權(quán)重和閾值的算法，這些算法對于具有不止一層的網(wǎng)絡(luò)來說足夠有效，消除了 Minsky 和 Papert 確定的許多限制，該領(lǐng)域迎來了復(fù)興。

但從理智上講，神經(jīng)網(wǎng)絡(luò)有一些不令人滿意的地方。足夠的訓(xùn)練可能會將網(wǎng)絡(luò)的設(shè)置修改為可以對數(shù)據(jù)進(jìn)行有用的分類，但這些設(shè)置意味著什么？對象識別器正在查看哪些圖像特征，它如何將它們拼湊成汽車、房屋和咖啡杯的獨特視覺特征？查看單個連接的權(quán)重并不能回答這個問題。

近年來，計算機(jī)科學(xué)家開始想出巧妙的方法來推斷神經(jīng)網(wǎng)絡(luò)采用的分析策略。但在 20 世紀(jì) 80 年代，網(wǎng)絡(luò)的策略難以理解。所以在世紀(jì)之交，神經(jīng)網(wǎng)絡(luò)被支持向量機(jī)取代，支持向量機(jī)是一種基于一些非常簡潔「優(yōu)雅」的數(shù)學(xué)的機(jī)器學(xué)習(xí)替代方法。

最近神經(jīng)網(wǎng)絡(luò)的復(fù)興——深度學(xué)習(xí)革命——得益于計算機(jī)游戲行業(yè)。當(dāng)今視頻游戲的復(fù)雜圖像和快速節(jié)奏需要能夠跟上的硬件，結(jié)果就是圖形處理單元 (GPU)，它在單個芯片上封裝了數(shù)千個相對簡單的處理內(nèi)核。研究人員很快就意識到 GPU 的架構(gòu)與神經(jīng)網(wǎng)絡(luò)的架構(gòu)非常相似。

現(xiàn)代 GPU 使 20 世紀(jì) 60 年代的單層網(wǎng)絡(luò)和 20 世紀(jì) 80 年代的兩到三層網(wǎng)絡(luò)發(fā)展為今天的 10 層、15 層甚至 50 層網(wǎng)絡(luò)。這就是「深度學(xué)習(xí)」中的「深度」所指的——網(wǎng)絡(luò)層的深度。目前，深度學(xué)習(xí)幾乎在人工智能研究的每個領(lǐng)域都為性能最佳的系統(tǒng)負(fù)責(zé)。

引擎蓋下

網(wǎng)絡(luò)的不透明性仍然令理論家感到不安，但在這方面也取得了進(jìn)展。除了指導(dǎo)大腦、思維和機(jī)器中心 (CBMM) 外，Poggio 還領(lǐng)導(dǎo)該中心的智能理論框架研究項目。最近，Poggio 和他的 CBMM 同事發(fā)布了一個由三部分組成的神經(jīng)網(wǎng)絡(luò)理論研究。

內(nèi)容地址：

https://cbmm.mit.edu/research/thrusts/theoretical-frameworks-intelligence

第一部分發(fā)表在《國際自動化與計算雜志》（International Journal of Automation and Computing）上，討論了深度學(xué)習(xí)網(wǎng)絡(luò)可以執(zhí)行的計算范圍，以及深度網(wǎng)絡(luò)何時比淺層網(wǎng)絡(luò)更具優(yōu)勢。

論文地址：

https://link.springer.com/article/10.1007/s11633-017-1054-2

第二部分和第三部分已作為 CBMM 技術(shù)報告發(fā)布，解決了全局優(yōu)化問題；或保證網(wǎng)絡(luò)找到最符合其訓(xùn)練數(shù)據(jù)的設(shè)置、過度擬合；或者網(wǎng)絡(luò)變得如此適應(yīng)其訓(xùn)練數(shù)據(jù)的細(xì)節(jié)以致無法推廣到相同類別的其他實例的情況。

論文地址：

http://cbmm.mit.edu/sites/default/files/publications/CBMM-Memo-067.pdf

還有很多理論問題有待回答，但 CBMM 研究人員的工作，可以幫助確保神經(jīng)網(wǎng)絡(luò)最終打破使它們在七十年內(nèi)受到青睞和失寵的世代循環(huán)。

參考內(nèi)容：

https://scitechdaily.com/deep-learning-ai-explained-neural-networks/

編輯：王菁