ICLR（International Conference on Learning Representations），即國際學(xué)習(xí)表征會議，由深度學(xué)習(xí)三巨頭之二的 Yoshua Bengio 和 Yann LeCun 于2013年創(chuàng)立。盡管起步晚，但其影響力已不容小覷：它被譽為“深度學(xué)習(xí)的頂級會議”，受到學(xué)術(shù)研究者們的廣泛認(rèn)可，谷歌學(xué)術(shù) h5 指數(shù)已經(jīng)排到了全榜第 17 名，超過了 NeurIPS、ICCV、ICML。

日前它放出了今年的論文接收結(jié)果。ICLR 2021 共收到 2997 篇有效投稿，最終接收 860 篇，其中 53 篇為 Oral 論文，114 篇 Spotlight 論文，其余為 Poster 論文。接收率為 29%，相比去年的 26.5% 有所提升。

騰訊 AI Lab 共 7 篇論文被 ICLR 2021 收錄，其中包括一篇 Spotlight 展示論文，涵蓋騰訊 AI Lab 在機器學(xué)習(xí)和自然語言處理兩大重點方向的研究成果。以下為詳細(xì)解讀。

1.針對醫(yī)療圖像的一種穩(wěn)定性對抗攻擊方法

Stabilized Medical Image Attacks

本文由騰訊 AI Lab 和騰訊天衍實驗室合作完成。深度神經(jīng)網(wǎng)絡(luò)使得醫(yī)療圖像的自動診療的性能得到大幅提升。然而深度神經(jīng)網(wǎng)絡(luò)會帶來對抗攻擊的脆弱性等困難。因此針對普適醫(yī)療圖像的對抗攻擊具有明確的意義，可以有效進行分析并避免自動診療中帶來的誤判問題。

本文在現(xiàn)有針對自然圖像的對抗攻擊基礎(chǔ)上，提出一個穩(wěn)定性約束項。在對抗擾動迭代計算的過程中，該約束項衡量當(dāng)前擾動和之前擾動的相似性。從KL散度的角度來看，該約束項使得對抗攻擊將網(wǎng)絡(luò)的輸出引入一個錯誤而固定的結(jié)果。該結(jié)果不受網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)類型的影響。

在若干醫(yī)療圖像分析的數(shù)據(jù)庫中（包括最近的新冠數(shù)據(jù)庫COVID-19），我們的方法能夠穩(wěn)定而有效的攻擊現(xiàn)有的自動診療神經(jīng)網(wǎng)絡(luò)系統(tǒng)。本研究可用于分析自動醫(yī)療圖像診療的潛在風(fēng)險。例如由于醫(yī)療設(shè)備受污染帶來的診療誤判情況，以及人為的醫(yī)療保險欺詐等問題。

本方向3篇論文，分別探索對抗攻擊、圖深度學(xué)習(xí)、離線強化學(xué)習(xí)等主題。

1.基于圖信息瓶頸的子圖識別

Graph Information Bottleneck for Subgraph Recognition

本文由騰訊 AI Lab 和中國科學(xué)院自動化研究所合作完成。圖分類、藥物分子官能團發(fā)掘、圖數(shù)據(jù)去噪等任務(wù)都可以歸結(jié)為尋找一個與原圖標(biāo)簽最為相關(guān)且濾除噪聲結(jié)構(gòu)的子圖。然而監(jiān)督學(xué)習(xí)需要利用子圖層面的標(biāo)簽，且圖的不規(guī)則離散結(jié)構(gòu)對算法優(yōu)化帶來了挑戰(zhàn)。

本文基于信息瓶頸理論提出了信息瓶頸子圖的概念和圖信息瓶頸算法，并針對圖的不規(guī)則離散結(jié)構(gòu)提出了二層互信息優(yōu)化算法與連續(xù)化松弛方法?；谠撍惴?，不需要顯式的子圖標(biāo)簽即可有效識別這種子圖。

實驗表明，該算法能有效提高多種圖分類算法的精度；在分子數(shù)據(jù)集上，該算法能夠準(zhǔn)確識別最能影響藥物分子屬性的子結(jié)構(gòu)；此外，該算法對于有噪聲的圖分類任務(wù)有較好的魯棒性。

本文在圖深度學(xué)習(xí)中開拓出了一個子圖識別的新的研究領(lǐng)域，并在藥物發(fā)現(xiàn)中起到了一定的輔助分析的作用。其中結(jié)合信息瓶頸理論來解決圖問題的思路也對今后的相關(guān)研究有借鑒意義。

想了解更多關(guān)于圖深度學(xué)習(xí)的信息，可閱讀文章：騰訊AI Lab聯(lián)合清華、港中文，萬字解讀圖深度學(xué)習(xí)歷史、最新進展與應(yīng)用

2.通過反轉(zhuǎn)有限權(quán)重比特實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的有目標(biāo)攻擊

Targeted Attack Against Deep Neural Networks via Flipping Limited Weight Bits

為了探索深度學(xué)習(xí)的脆弱性進而獲取更加安全的深度模型，研究者們提出了許多的攻擊范式，例如在訓(xùn)練階段使用基于數(shù)據(jù)投毒的后門攻擊、在推斷階段使用的對抗攻擊。

本文研究了一種新的攻擊范式，即通過修改部署的模型參數(shù)來達(dá)到惡意目的。我們的攻擊目標(biāo)為：將一個指定樣本分類到目標(biāo)類別（不對此樣本進行修改），同時不顯著降低模型在其他樣本上的性能。由于網(wǎng)絡(luò)參數(shù)在內(nèi)存中是以二進制比特存儲的，因此我們將識別重要比特問題形式化定義為二元整數(shù)規(guī)劃問題，給出了帶有約束的目標(biāo)函數(shù)。

利用最新的整數(shù)規(guī)劃算法，我們進一步給出了一種高效的優(yōu)化方法。實驗表明，該方法在多個數(shù)據(jù)集上表現(xiàn)顯著優(yōu)于啟發(fā)式的方法。本研究可用于評估當(dāng)前深度模型參數(shù)的魯棒性，識別應(yīng)用中的潛在安全隱患，進而促進更加安全的模型開發(fā)與部署。

3.一種基于距離度量學(xué)習(xí)及行為正則化的完全離線的元強化學(xué)習(xí)方法

Efficient Fully-Offiline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

本文由騰訊 AI Lab 主導(dǎo)，與清華大學(xué)合作完成，主要研究離線元強化學(xué)習(xí)(OMRL)問題。離線元強化學(xué)習(xí)作為一種新穎的范式，可以讓智能體以完全不與環(huán)境交互的方式快速適應(yīng)新的未知任務(wù)，極大地提升了強化學(xué)習(xí)算法在真實世界中的應(yīng)用范圍和價值。圍繞這一問題目前的相關(guān)研究還較少，并且有兩個主要的技術(shù)難點。其一，離線強化學(xué)習(xí)中通常會因為訓(xùn)練數(shù)據(jù)與所學(xué)習(xí)策略的狀態(tài)-動作對的分布偏移而產(chǎn)生較大誤差，甚至導(dǎo)致價值函數(shù)的發(fā)散。其二，元強化學(xué)習(xí)要求在學(xué)習(xí)控制策略的同時能高效且魯棒地進行任務(wù)推斷(task inference)。

在本文中，我們將針對離線策略學(xué)習(xí)的行為正則化(behavior regularization)方法，與一個用于任務(wù)推斷的確定性的任務(wù)信息編碼器進行結(jié)合來解決上述的兩大難點。我們在有界的任務(wù)信息嵌入空間中引入了一個全新的負(fù)指數(shù)距離度量，并且將其與控制策略的貝爾曼方程的梯度解耦進行學(xué)習(xí)。我們分析驗證了在該設(shè)定下，采用一些簡單的算法設(shè)計即可帶來相比經(jīng)典元強化學(xué)習(xí)及度量學(xué)習(xí)的效果的明顯提升。據(jù)我們所知，本方法是第一個端到端、無模型的離線元強化學(xué)習(xí)算法，計算效率高并且在多個元強化學(xué)習(xí)實驗環(huán)境上表現(xiàn)出優(yōu)于以往方法的性能。

本方法賦予強化學(xué)習(xí)算法進行離線學(xué)習(xí)及高效遷移的能力，離線意味著不需要在真實環(huán)境中進行探索、交互，高效遷移意味著算法的魯棒性及數(shù)據(jù)利用效率更高。我們的方法實現(xiàn)了同時具備上述兩種能力的端到端的算法訓(xùn)練框架，可以極大擴展強化學(xué)習(xí)算法的實際應(yīng)用范圍：例如推動其在諸如醫(yī)療、農(nóng)業(yè)、自動駕駛等數(shù)據(jù)稀缺或極度重視安全性的相關(guān)領(lǐng)域的實際應(yīng)用，包括構(gòu)建定制化的患者治療方案、針對特定氣候/作物品種的溫室種植策略等。

本方向3篇論文，分別關(guān)注命名實體識別、非自回歸翻譯（NAT）、編碼器特征融合（EncoderFusion）等子領(lǐng)域。

1.命名實體識別中漏標(biāo)實體問題的分析與解決

Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition

本文由騰訊 AI Lab 獨立完成。在許多場景（如弱監(jiān)督）中，命名實體識別（NER）模型嚴(yán)重地受到漏標(biāo)實體問題的影響。漏標(biāo)實體是指在訓(xùn)練數(shù)據(jù)中真實存在但在標(biāo)注過程中遺漏的實體。通過在合成數(shù)據(jù)集上的大量實驗，我們發(fā)現(xiàn)了模型效果變差的兩個原因。一個是標(biāo)注實體的減少，另一個是錯誤地將漏標(biāo)實體當(dāng)成負(fù)例。前一個原因影響較小而且可以通過使用預(yù)訓(xùn)練語言模型改善。第二個原因則在訓(xùn)練時嚴(yán)重地誤導(dǎo)了模型并因此極大的影響了效果。

基于這些發(fā)現(xiàn)，我們提出了一種通用且可以消除漏標(biāo)實體誤導(dǎo)的方法。我們的核心思想就是基于負(fù)采樣使得訓(xùn)練時遇到漏標(biāo)實體的概率非常低。在合成數(shù)據(jù)和真實數(shù)據(jù)（如NEWS）上的實驗表明我們的模型對漏標(biāo)實體問題非常魯棒并且遠(yuǎn)遠(yuǎn)好于之前的方法。我們在正常數(shù)據(jù)（如CoNLL-2003）的表現(xiàn)也非常接近目前最好的效果，可分析并解決命名實體識別中的漏標(biāo)實體問題。

2.從理解到改進：非自回歸翻譯中的詞匯選擇

Understanding and Improving Lexical Choice in Non-Autoregressive Translation

本文由騰訊 AI Lab 主導(dǎo)，與悉尼大學(xué)、澳門大學(xué)合作完成。非自回歸翻譯（NAT）是目前最受關(guān)注的機器翻譯子領(lǐng)域之一。由于NAT模型擺脫了自回歸分解的條件，一方面解碼速度得到了很大提升，但另一方面翻譯性能弱于傳統(tǒng)的自回歸翻譯（AT）模型。目前NAT訓(xùn)練需要借助知識蒸餾（KD）技術(shù)來降低原始數(shù)據(jù)的復(fù)雜性，從而得到與AT可比的翻譯質(zhì)量。通過定性和定量的分析，我們揭示了KD的副作用：使原始數(shù)據(jù)的分布更加不平衡，從而帶來了嚴(yán)重的詞匯選擇錯誤（特別是低頻詞）。

為了緩解該問題，我們提出將原始數(shù)據(jù)暴露給NAT模型，以恢復(fù)蒸餾數(shù)據(jù)中被遺漏的低頻信息。為此，我們引入了一個額外的KL散度項來約束NAT模型和原始數(shù)據(jù)中的詞匯選擇。實驗結(jié)果表明，該方法在多種語言對和模型結(jié)構(gòu)上能夠有效地、通用地提升翻譯質(zhì)量。大量分析證實該方法通過減少低頻詞的詞匯選擇錯誤來提高整體性能。令人鼓舞的是，我們在WMT14英德和WMT16羅英數(shù)據(jù)集上將SOTA NAT效果分別提高到27.8和33.8 BLEU值。

非自回歸翻譯（NAT）是目前最受關(guān)注的機器翻譯子領(lǐng)域之一。NAT模型有快速解碼優(yōu)勢但其性能卻弱于傳統(tǒng)的自回歸翻譯方法。圍繞提升NAT的翻譯質(zhì)量，前人主要從模型結(jié)構(gòu)、訓(xùn)練目標(biāo)等方面進行探索。而本工作另辟新徑，從數(shù)據(jù)角度發(fā)現(xiàn)了知識蒸餾的副作用，并定義了詞匯選擇問題。這將改變傳統(tǒng)的KD訓(xùn)練，并引導(dǎo)后續(xù)工作提出更合理的訓(xùn)練策略。

3.從理解到改進：序列到序列建模中的編碼器特征融合

Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning

本文由騰訊AI Lab主導(dǎo)，與澳門大學(xué)、悉尼大學(xué)合作完成。編碼器特征融合（EncoderFusion）是提升序列到序列建模中的經(jīng)典技術(shù)之一。盡管其有效性已在各種自然語言處理（NLP）任務(wù)上得到的驗證，但其原理及規(guī)律并沒有被深入探究。

本文首先提出了細(xì)粒度層注意力模型來量化編碼器每一層特征的貢獻(xiàn)度，并在多個NLP任務(wù)（機器翻譯、語法糾錯、文本摘要）上進行分析，從而進一步理解EncoderFusion的本質(zhì)。前人工作認(rèn)為EncoderFusion主要利用嵌在編碼器底層的詞法和語法信息，而我們發(fā)現(xiàn)編碼器詞嵌入層比其他中間層更重要，并且始終受到解碼器最上層的關(guān)注?；谠摪l(fā)現(xiàn)，我們提出了一種簡單直接的融合方法，即只融合編碼器詞嵌入層到解碼器輸出層。

實驗結(jié)果表明，該方法在多種序列建模任務(wù)上都優(yōu)于已有融合方法，并使翻譯任務(wù)在WMT16羅英和WMT14英法數(shù)據(jù)集上取得SOTA性能。分析進一步表明，SurfaceFusion能幫助模型學(xué)到更具表現(xiàn)力的雙語詞嵌入。該工作對編碼器特征融合的改進和使用有較強啟發(fā)和指導(dǎo)意義。

來源：騰訊AI Lab微信（tencent_ailab）