點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪除。
編譯 | 蔣寶尚、陳大鑫
編輯 | 叢末
深度學(xué)習(xí)的未來在哪里？
這一話題已經(jīng)有過了無數(shù)討論，大部分討論都承認(rèn)當(dāng)前的深度學(xué)習(xí)還不是真正的智能，必須轉(zhuǎn)向理解、常識(shí)。
但是只看當(dāng)前AI成功的案例，似乎還無法窺探理解。近日，來自多倫多大學(xué)和圖賓根大學(xué)的研究人員合作了一篇文章《Shortcut Learning in Deep Neural Networks》，他們將當(dāng)前深度學(xué)習(xí)的一些失敗案例歸因?yàn)椋航輳?/span>，即深度學(xué)習(xí)在處理任務(wù)的時(shí)候往往會(huì)采用“捷徑”策略，模型在訓(xùn)練的時(shí)侯往往會(huì)面臨多個(gè)解決方案，而深度學(xué)習(xí)模型的選擇往往并不是最有效的那個(gè)，而是最簡單的那個(gè)。
雖然采用“捷徑”策略在表面上是成功的，但是情況稍微改變一下，深度學(xué)習(xí)就會(huì)失敗。這也是通常提到的模型泛化能力差。
除此之外，在論文中，作者還舉了一些采用“捷徑策略”的例子，試圖從“捷徑學(xué)習(xí)”中找到讓AI模型轉(zhuǎn)向“理解”的方向。
最后，基于論文內(nèi)容，作者在網(wǎng)站The Gradient 發(fā)布了一篇文章，詳細(xì)闡述了“捷徑策略”對(duì)深度學(xué)習(xí)的影響，AI科技評(píng)論對(duì)其進(jìn)行了不改變?cè)獾木幾g，請(qǐng)欣賞。
人工智能會(huì)取代放射科醫(yī)生么？
有研究人員訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)用來乳腺癌分類，其準(zhǔn)確率達(dá)到了85%。隨后，研究人員又綜合了另外三個(gè)神經(jīng)網(wǎng)絡(luò)，這時(shí)，模型的準(zhǔn)確率達(dá)到了驚人的99%，足以匹敵有多年經(jīng)驗(yàn)的“老”放射科醫(yī)師。
只不過，這里有個(gè)小反轉(zhuǎn)：研究人員用的不是人工智能神經(jīng)網(wǎng)絡(luò)，而是“全自然”神經(jīng)網(wǎng)絡(luò)，更準(zhǔn)確地說，研究人員訓(xùn)練了四只鴿子來診斷乳腺癌?。
一群非常聰明的神經(jīng)網(wǎng)絡(luò)？
對(duì)于醫(yī)學(xué)而言，我們從來沒有將未來寄希望于鴿子身上，各大公司也從來沒有投資幾億美元建造鴿子場。顯然，與我們對(duì)深度神經(jīng)網(wǎng)絡(luò)的期望相比，我們對(duì)鴿子的期望有些相形見絀。
誠然，在許多方面，深度學(xué)習(xí)確實(shí)沒有辜負(fù)“炒作”和希望，畢竟，它們?cè)谏鐣?huì)、行業(yè)和科學(xué)領(lǐng)域做出的貢獻(xiàn)是不可否認(rèn)的，新的AI突破仍然時(shí)不時(shí)的出現(xiàn)在“媒體頭條”。但是，一些看似互不關(guān)聯(lián)的失敗案例，一直在緩慢而穩(wěn)定地出現(xiàn)。
例如，深度學(xué)習(xí)雖然在物體識(shí)別方面取得了超人的表現(xiàn)，但是識(shí)別物體中的一些微小的變化（例如背景）有可能導(dǎo)致識(shí)別失敗；深度學(xué)習(xí)可以為一張圖片生成看似合理的標(biāo)題，但是在它不“看”圖片的情況下，生成的標(biāo)題也非常合理；深度學(xué)習(xí)可以準(zhǔn)確地識(shí)別人臉，但是對(duì)于某些少數(shù)群體的人臉，模型識(shí)別的錯(cuò)誤率卻比較高；深度學(xué)習(xí)可以根據(jù)簡歷做出招聘決定，但是算法的決定往往偏向于選擇男性。
那么？如何看待AI超人的表現(xiàn)和令人震驚的失敗之間的差距呢？其實(shí)，這些失敗案例并不是獨(dú)立的現(xiàn)象，它們?cè)谀撤N意義上是相互關(guān)聯(lián)的：即深度學(xué)習(xí)在處理任務(wù)的時(shí)候往往會(huì)采用“捷徑”策略。雖然采用策略表面上是成功的，但是情況稍微改變一下，深度學(xué)習(xí)就會(huì)失敗。
更為準(zhǔn)確一些，采用“捷徑”的結(jié)果可能表現(xiàn)為：模型在標(biāo)準(zhǔn)的基準(zhǔn)上表現(xiàn)良好，但是卻無法轉(zhuǎn)移到具有挑戰(zhàn)性的任務(wù)中。這樣的例子有很多，如下圖所示：
總的來講，“捷徑”策略并不是什么新鮮東西，它有許多變體名字，例如covariate shift、反因果學(xué)習(xí)、數(shù)據(jù)集偏差、聰明漢斯效應(yīng)等等。注：聰明的漢斯是一匹懂得算術(shù)和各種驚奇技能的馬,但是它其實(shí)并不是真的懂算術(shù)，而是靠著訓(xùn)練員與觀察者無意識(shí)下給予的訓(xùn)練。具體而言，在機(jī)器學(xué)習(xí)中，訓(xùn)練模型可能受到數(shù)據(jù)、模型架構(gòu)、優(yōu)化器和目標(biāo)函數(shù)的約束。然而，這些約束所決定的“解決方案”往往不止一個(gè)。而用捷徑策略所選擇的正是那些在典型測(cè)試集上表現(xiàn)良好，但在其他情況下失敗的解決方案。舉個(gè)例子，當(dāng)在一個(gè)簡單的恒星和月亮的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練時(shí)，一個(gè)標(biāo)準(zhǔn)的三層全連接的神經(jīng)網(wǎng)絡(luò)可以很容易對(duì)新的示例進(jìn)行分類，當(dāng)然，這些示例的數(shù)據(jù)集在概率上服從獨(dú)立同分布。但是，如果在與訓(xùn)練集具有不同概率分布的數(shù)據(jù)集上進(jìn)行測(cè)試時(shí)，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)仍然用在訓(xùn)練集中學(xué)到的策略對(duì)星星進(jìn)行分類。也即：星星總是顯示在圖像的右上方或在左下方，月亮總是在左上方或者右下方。此捷徑策略或許在訓(xùn)練集上可行，但是在測(cè)試集上卻不存在。所以，這里暴露的問題是：在訓(xùn)練模型對(duì)星星進(jìn)行分類時(shí)，位置和形狀都是有效的識(shí)別方案，顯然模型選擇了使用位置，而不是物體的形狀來進(jìn)行分類。上面這些例子雖然被歸納為對(duì)抗性示例、有偏見的機(jī)器學(xué)習(xí)、缺乏領(lǐng)域泛化等等，其實(shí)都可以理解為：捷徑學(xué)習(xí)。翻譯到這兒，小編想到了清華大學(xué)高等研究院雙聘教授沈向洋博士，他曾經(jīng)在多次演講中舉到過的哈士奇的例子：用已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)檢測(cè)圖片中的動(dòng)物是狼還是哈士奇。在上面6張照片中，左下角的一張被識(shí)別錯(cuò)了。識(shí)別錯(cuò)的原因是：深度神經(jīng)網(wǎng)絡(luò)并非像我們理解的那樣通過動(dòng)物的外形來辨別的，而是在觀察圖像中有沒有雪，如果有雪，那就是狼。當(dāng)時(shí)沈博士舉這個(gè)例子是想說明模型可解釋性的重要性，與今天作者提到的“捷徑”有異曲同工之意。再例如，研究人員開發(fā)了一種機(jī)器學(xué)習(xí)分類器，能夠從X光掃描圖片中檢測(cè)肺炎，此分類器在訓(xùn)練集上表現(xiàn)良好，但是在識(shí)別新醫(yī)院的病例時(shí)，其性能卻出人意料的低。究其原因，該分類器聰明地學(xué)會(huì)了“從醫(yī)院的類型看肺炎”，如上圖所示，通過識(shí)別醫(yī)院的特定token，然后綜合該醫(yī)院的肺炎患病率，模型就能夠有很高的預(yù)測(cè)準(zhǔn)確率。顯然，此分類器沒有“理解”肺炎，而是選擇了最簡單的解決方案，只查看醫(yī)院token的類型。捷徑學(xué)習(xí)超越深度學(xué)習(xí)
通常這樣的失敗被歸為機(jī)器學(xué)習(xí)算法不可信的例子。然而，生物學(xué)學(xué)習(xí)者也有同樣的境遇：在牛津大學(xué)的一個(gè)實(shí)驗(yàn)室里，研究人員觀察到老鼠能夠在復(fù)雜的迷宮中找到出路。研究人員非常驚訝，因?yàn)槔鲜蟮囊暰W(wǎng)膜非常簡單，只有一些“粗糙”的色覺功能。于是，研究人員進(jìn)行了深度調(diào)查，結(jié)果發(fā)現(xiàn)老鼠欺騙了研究人員：老鼠們?cè)趯?shí)驗(yàn)中根本不使用視覺系統(tǒng)，而是使用氣味識(shí)別，即簡單地通過聞迷宮墻壁上彩色涂料的氣味進(jìn)行分辨。一旦氣味被控制住，老鼠顯著的辨色能力就消失了。我們從這個(gè)實(shí)驗(yàn)得到的結(jié)論是：動(dòng)物在面對(duì)實(shí)驗(yàn)任務(wù)的時(shí)候，采用的并不是人類以為的那種方式。而這種“反人類直覺”的方式正是人類難以想象的地方。其實(shí)，對(duì)于動(dòng)物這種“反人類”的方式還是在研究人員的考慮范圍內(nèi)的，因?yàn)樵谏鲜鰧?shí)驗(yàn)中，小鼠和人類在視覺神經(jīng)方面的不同，人類早已預(yù)料到。但是在算法層面，人類往往界定人類的性能為算法上限。也就是說，即使人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元與生物神經(jīng)元盡管不同，如果DNN成功地識(shí)別出物體，那么就可以很自然地假設(shè)它們能像人類一樣感覺到物體形狀。因此，在將“物體識(shí)別”和“語言理解”這樣的高級(jí)能力歸于機(jī)器之前，要非常謹(jǐn)慎。因?yàn)樗鼈冞€有一種解釋：捷徑。捷徑學(xué)習(xí)改變我們衡量進(jìn)步的方式
從歷史的角度看，一些機(jī)器學(xué)習(xí)的研究主要由基準(zhǔn)測(cè)試驅(qū)動(dòng)，而基準(zhǔn)測(cè)試是通過在任務(wù)和數(shù)據(jù)集的固定組合上對(duì)算法進(jìn)行評(píng)估，目的是使算法具有可比性。這種基準(zhǔn)推動(dòng)的模式在很短的時(shí)間內(nèi)使機(jī)器學(xué)習(xí)領(lǐng)域取得了巨大的進(jìn)步。但這并非沒有缺點(diǎn)，這種模式雖然為研究人員創(chuàng)造了強(qiáng)大的激勵(lì)，使他們更專注于開發(fā)新的算法，改進(jìn)現(xiàn)有的基準(zhǔn)，但是在激勵(lì)他們“理解”當(dāng)前的算法或基準(zhǔn)方面尚有欠缺。這種對(duì)理解的忽視也是為什么“捷徑學(xué)習(xí)”是深度學(xué)習(xí)中普遍存在的問題的原因之一。讓我們看一個(gè)比較著名的例子：ImageNet挑戰(zhàn)賽。此挑戰(zhàn)賽于2009年創(chuàng)建，由于它的多樣性和大規(guī)模，ImageNet為當(dāng)前的深度學(xué)習(xí)革命鋪平了道路。ImageNet數(shù)據(jù)集和大規(guī)模視覺識(shí)別挑戰(zhàn)賽的貢獻(xiàn)證明了具有學(xué)習(xí)權(quán)值的深度神經(jīng)網(wǎng)絡(luò)是唯一適合處理這種復(fù)雜性的方法（與當(dāng)時(shí)流行的使用手工特征進(jìn)行圖像分析的方法不同）。在那段時(shí)間，ImageNet成為了進(jìn)步的推動(dòng)力，模型在ImageNet基準(zhǔn)上的表現(xiàn)也成為了計(jì)算機(jī)視覺領(lǐng)域進(jìn)步的代名詞。直到最近幾年，當(dāng)越來越多的DNN失敗案例出現(xiàn)時(shí)，這種情況才開始慢慢改變。所有這些失敗案例背后的一個(gè)主要原因是，盡管ImageNet數(shù)據(jù)集包含很大的規(guī)模和種類，但它并不需要真正意義上的目標(biāo)識(shí)別。因?yàn)樵谠S多情況下，目標(biāo)的背景，紋理或其他對(duì)人類不太明顯的“捷徑”可以很好地被識(shí)別。所以如果當(dāng)識(shí)別背景效果比識(shí)別場景中的主要目標(biāo)更容易時(shí)，神經(jīng)網(wǎng)絡(luò)通常會(huì)學(xué)習(xí)利用背景用于分類。這種行為往往導(dǎo)致模型泛化能力太差。例如下圖，在左側(cè)有幾個(gè)人類希望模型能夠泛化的目標(biāo)。對(duì)人類而言，無論是手繪黑白的5還是彩色照片上的門牌號(hào)5，5都是5。同樣，姿勢(shì)、紋理或背景的輕微變形或變化也不會(huì)影響到人類對(duì)圖像中主要目標(biāo)的預(yù)測(cè)。相比之下，神經(jīng)網(wǎng)絡(luò)卻很容易被愚弄。但是這并不意味著神經(jīng)網(wǎng)絡(luò)完全不能泛化：事實(shí)上它們可以很好地泛化，盡管泛化的方向?qū)θ祟悗缀鯖]有意義。下圖右側(cè)顯示了一些示例，從某種程度上可理解→擾亂圖像只保留其紋理→完全不知所云。導(dǎo)致捷徑學(xué)習(xí)和模型泛化失敗的關(guān)鍵問題是我們對(duì)任務(wù)的感知與它實(shí)際激勵(lì)模型學(xué)習(xí)的東西之間的差異。那么我們?cè)撊绾螠p輕這一問題，并提供對(duì)捷徑學(xué)習(xí)的其他見解呢？首先要認(rèn)識(shí)到目前大多數(shù)基準(zhǔn)測(cè)試有一個(gè)主要缺點(diǎn)：那就是在訓(xùn)練中，模型只對(duì)服從獨(dú)立同分布的圖像數(shù)據(jù)進(jìn)行測(cè)試（i.i.d測(cè)試）。但是這種類型的測(cè)試往往導(dǎo)致模型有很弱的泛化能力，然而我們想要的是與人類的直覺大體一致的強(qiáng)大的泛化能力。為了對(duì)泛化能力進(jìn)行測(cè)試，我們需要良好的分布外（out-of-distribution ）測(cè)試（即o.o.d.測(cè)試），這些測(cè)試具有明確的分布轉(zhuǎn)移、明確的預(yù)期解決方案，并能揭示模型學(xué)習(xí)的“捷徑”。但是測(cè)試并不止于此：隨著模型越來越好，它們將學(xué)會(huì)利用更微妙的捷徑，因此我們?cè)O(shè)想o.o.d.基準(zhǔn)也將隨著時(shí)間的推移朝著越來越強(qiáng)大的測(cè)試方向發(fā)展。這種類型的“滾動(dòng)基準(zhǔn)”可以確保我們?cè)谀Ｐ烷_發(fā)過程中不會(huì)忘記最初的目標(biāo)，而是不斷地重新集中精力解決我們實(shí)際關(guān)心的潛在問題，同時(shí)增加我們對(duì)模型pipeline和捷徑學(xué)習(xí)之間相互作用的理解。科學(xué)旨在理解。雖然深度學(xué)習(xí)作為一門工程學(xué)科在過去幾年里取得了巨大的進(jìn)步，但作為一門科學(xué)學(xué)科，深度學(xué)習(xí)在理解機(jī)器如何從數(shù)據(jù)中提取模式的原理和局限性方面仍然落后。如何減少捷徑學(xué)習(xí)，從而達(dá)到更深入的理解呢？這不僅與機(jī)器學(xué)習(xí)的當(dāng)前應(yīng)用領(lǐng)域相關(guān)，而且未來可能會(huì)有更多與其他學(xué)科交叉融合的機(jī)會(huì)，比如對(duì)經(jīng)濟(jì)學(xué)而言，如何設(shè)計(jì)管理激勵(lì)措施才能不會(huì)因?yàn)楠?jiǎng)勵(lì)無意中的“捷徑”行為而危及長期成功？或?qū)Ψ啥杂衷撊绾蝿?chuàng)造沒有“漏洞”捷徑機(jī)會(huì)的法律呢？然而不幸的是，我們很可能永遠(yuǎn)無法完全解決捷徑學(xué)習(xí)問題。模型的決策總是建立在信息簡化的基礎(chǔ)上，因此泛化的失敗是可以預(yù)料的：通過捷徑學(xué)習(xí)的失敗是常態(tài)，而不是例外。為了增加我們對(duì)捷徑學(xué)習(xí)的理解，甚至減少這種情況，我們提出以下五點(diǎn)建議：（1）連接點(diǎn)：捷徑學(xué)習(xí)無處不在捷徑學(xué)習(xí)無論是對(duì)于生物，還是對(duì)于人工神經(jīng)網(wǎng)絡(luò)來說，似乎都是學(xué)習(xí)系統(tǒng)中普遍存在的一個(gè)特征。許多深度學(xué)習(xí)的問題都是通過捷徑學(xué)習(xí)聯(lián)系在一起的，例如模型利用數(shù)據(jù)集的捷徑機(jī)會(huì)，有可能只選擇幾個(gè)預(yù)測(cè)特征，而沒有仔細(xì)考慮所有可用的證據(jù)，從而導(dǎo)致意外的泛化失敗。但是受影響區(qū)域之間的“連接點(diǎn)”可能會(huì)促進(jìn)成功，這些成功可以在不同的應(yīng)用領(lǐng)域產(chǎn)生非常有價(jià)值的影響。在機(jī)器學(xué)習(xí)中發(fā)現(xiàn)“捷徑”的時(shí)候，往往會(huì)發(fā)現(xiàn)一個(gè)看似復(fù)雜的數(shù)據(jù)集存在一個(gè)簡單的解決方案。所以，在將 "物體識(shí)別 "或 "語言理解 "等高級(jí)能力歸于機(jī)器之前，我們需要非常謹(jǐn)慎，因?yàn)檫@背后可能往往有一個(gè)簡單得多的解釋。與當(dāng)前大多數(shù)基準(zhǔn)測(cè)試一樣，在獨(dú)立同分布測(cè)試數(shù)據(jù)上評(píng)估模型性能是不足以區(qū)分預(yù)期和非預(yù)期（捷徑）解決方案，因此，分布外數(shù)據(jù)集泛化測(cè)試將需要成為“慣例”而不是例外。（4）理解解決方案容易學(xué)習(xí)的原因DNN總是學(xué)習(xí)最簡單的解決方案，但是如果要了解哪些解決方案是比較容易的，就需要分清結(jié)構(gòu)（架構(gòu)）、經(jīng)驗(yàn)（訓(xùn)練數(shù)據(jù)）、目標(biāo)（損失函數(shù)）和學(xué)習(xí)（優(yōu)化）的影響，以及我們?cè)撊绾螌?duì)這些因素之間相互作用進(jìn)行透徹理解。（5）詢問任務(wù)是否應(yīng)該首先被解決捷徑的存在意味著不管任務(wù)是否得到充分證實(shí)，DNN通常都會(huì)找到解決方案。例如，人們可能會(huì)試圖找到一條捷徑，從敏感的人口統(tǒng)計(jì)學(xué)（例如膚色或種族）或從性別來評(píng)估信用評(píng)分。這些歧視和偏見是值得關(guān)注的，因?yàn)楫?dāng)機(jī)器學(xué)習(xí)應(yīng)用于定義不清晰或有害的任務(wù)時(shí)，它可能會(huì)強(qiáng)化不正確的假設(shè)和有問題的關(guān)系。捷徑可以讓這些有問題的任務(wù)看上去完全可以被解決。然而，DNNs以高性能處理任務(wù)或基準(zhǔn)的能力永遠(yuǎn)無法證明任務(wù)的存在或潛在假設(shè)的合理性。因此，在評(píng)估一項(xiàng)任務(wù)是否可以解決時(shí)，我們首先需要問到：它是否應(yīng)該被解決？如果它真的應(yīng)該被解決，是否又應(yīng)該用AI來解決？捷徑學(xué)習(xí)解釋了當(dāng)前機(jī)器學(xué)習(xí)模型和人類智力之間一些最具顯著性的差異，但具有諷刺意味的是，正是這種對(duì)“作弊”的偏好讓神經(jīng)網(wǎng)絡(luò)看起來幾乎和人類一樣：誰從來沒有通過記憶考試內(nèi)容來偷工減料，而不是花時(shí)間在真正理解上？誰從來沒有試圖在一項(xiàng)法規(guī)中尋找漏洞，而不是堅(jiān)持法律的精神？也許到最后神經(jīng)網(wǎng)絡(luò)和懶惰的人類沒什么區(qū)別......《Shortcut Learning in Deep Neural Networks》https://arxiv.org/pdf/2004.07780.pdfVia：https://thegradient.pub/shortcuts-neural-networks-love-to-cheat/
