31位學者聯(lián)手，GPT-3原作獲NeurIPS 2020最佳論文獎！華人「10歲論文」摘時間檢驗獎
??新智元報道??
??新智元報道??
來源：NeurIPS
編輯：QJP、小勻
【新智元導讀】NeurIPS 2020最佳論文公布！Open AI 的 GPT-3論文與米蘭理工大學、卡內基梅隆大學和加州大學伯克利分享 NeurIPS 2020年度最佳論文獎。大會還公布了「時間檢驗獎」，一篇10年前的華人一作論文摘得大獎。
剛剛，NeurIPS 2020在官網公布了2020年度最佳論文獎和時間檢驗獎。
?
最佳論文共收錄了三篇，今年最亮眼的主角——OpenAI的GPT-3名列其中！
?
時間檢驗獎由威斯康星麥迪遜分校團隊發(fā)表于NeurIPS 2011上的一篇論文獲得，其一作為本科畢業(yè)于清華大學計算機系的華人Feng Niu。
神經信息處理系統(tǒng)大會（NeurIPS），是全球最受矚目的AI、機器學習頂會之一，曾在美國、西班牙、加拿大多地舉辦。
一年一度，大神們在這里的「AI論劍」都備受矚目。
不過今年，由于疫情原因，大會也改為了線上。
? ? ??論文接收量分析：谷歌全球第一，清華國內第一
今年的NeurIPS投稿數(shù)量再次創(chuàng)下新高，比2019年增長了38%，一共收到了12115份摘要，但最后提交完整的只有9467篇論文，最終被收錄的有1903篇，接受率只有20%。
?
本屆 NeurIPS 2020 論文接收量全球機構排名前三甲分別為為：Google（169篇），斯坦福（104篇），MIT（98篇）。
清華大學以63篇位居第七位，北大則以37篇位居第20名。
? ? ? ?
? ? ?
本次NeurIPS 2020論文中稿/接收量國家排名Top 5依次為：
?
美國：1178篇、中國：259篇、英國：195篇、加拿大:95篇、瑞士：88篇。
?? ? ? ?
? ??
從論文的主題來看，算法占比29%，深度學習占比19%，應用占比18%，強化學習和規(guī)劃（planning）占比9%，理論占比7%，概率方法占比5%，機器學習社會方面（ Social aspects of machine learning）占比5%，優(yōu)化占比5%，神經科學和認知科學占比3%。
? ? ? ?
? ? ? ?
此外，大會還公布3篇獲得最佳論文（Best Paper Awards）的文章。
GPT-3獲獎理由：地表最強語言模型
? ? ? ?
這篇論文還創(chuàng)下了一個「合作人數(shù)最多」的記錄，作者一共為為31人。合著者分別是OpenAI 29人、谷歌大腦1人、約翰霍普金斯1人。
? ? ??
?
論文作者（部分）
不過，一向反對GPT-3的馬庫斯也嘲諷了一番，「無法想象評審人員會問GPT-2之后還有什么技術創(chuàng)新…」
? ? ??
第二篇最佳論文是由來自米蘭理工大學、卡耐基梅隆大學等的四位作者發(fā)布的：「No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium」，即「廣義相關均衡的無悔學習動力學」。
? ??
? ? ??
具體來說，20多年前就已經知道，當所有的參與者在一次重復的正則形式的博弈中尋求最小化遺憾，參與的經驗概率會收斂到一個正常形式的相關均衡。
? ? ??
擴展形式(即樹形式)的博弈，通過對連續(xù)的和同步的步驟以及私有信息的建模，將正則形式的博弈廣義化。由于博弈的時序性和部分信息的存在，擴展形式的相關（EFCE）與標準形式的相關性具有顯著不同的性質，其中許多仍然是開放的研究方向。
第三篇是由來自加州大學伯克利分校的3位作者共同創(chuàng)作的「Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method」。
?? ? ??
? ? ? ?
列子集選擇問題(CSSP)和 Nystr?m 方法是機器學習和科學計算中構造大數(shù)據(jù)集小型低階近似的主要工具。其中一個基本問題是: 大小為 k 的數(shù)據(jù)子集如何與最佳秩 k 近似相競爭？
? ? ??
? ? ? ?
通過這篇論文開發(fā)的技術，利用譜性質的數(shù)據(jù)矩陣，以獲得改進的近似保證，這超出了標準的最壞情況分析。
作者使用的方法為已知單值衰減率的數(shù)據(jù)集提供了更好的界限，同時還揭示了一個有趣的現(xiàn)象: 近似因子作為 k 的函數(shù)可能呈現(xiàn)多個峰和谷，稱之為多重下降曲線。
最后，以 RBF 核為例，證明了改進的邊界和多重下降曲線都可以通過改變 RBF 參數(shù)在實際數(shù)據(jù)集上觀察到。
?
時間檢驗獎：穿越時間，一篇10年前的論文獲獎
此外，大會還公布了一項「Test of Time Award」，即時間檢驗獎。
顧名思義，就是頒發(fā)給一篇經得起時間考驗的論文。大獎被10年前的一篇論文獲得，這篇論文對人工智能界產生了特別重大和持久的影響。
? ? ? ?
委員會給出的獲獎理由是：「機器學習是將樣本數(shù)據(jù)轉化為模型的問題，這些模型存儲在計算機中，可以用來做出決定或采取行動。機器學習系統(tǒng)的核心是SGD，它搜索可能的模型空間，找到一個與樣本數(shù)據(jù)匹配良好的模型。本文描述了 SGD 的一個實現(xiàn)，它可以在一組快速計算機上并行運行，所有這些計算機都對模型進行重復的小的改變，而不需要任何協(xié)調或同步」。
?
這篇論文被引用了將近2000次，證明它不僅對機器學習有影響，而且對計算機系統(tǒng)和優(yōu)化領域也有影響。
?
同時值得注意的是，這篇論文的華人一作是Feng Niu，本科畢業(yè)于清華大學計算機系，博士畢業(yè)于威斯康星麥迪遜分校計算機系，目前擔任蘋果的研究科學家。
one more thing
大會還有很多有趣的地方，例如，一篇只有兩個詞的論文，被評為「題目最短」：Choice Bandits.
? ? ? ?? ? ??
另外，英偉達研究開發(fā)了GAN訓練的突破。一種名為ADA的新技術只需不到幾千張訓練圖像就能生成高分辨率圖像。
?? ??
https://nips.cc/
