引用次數(shù)在15000次以上的都是什么神仙論文？
鏈接：https://www.zhihu.com/question/433702668 聲明：僅做學(xué)術(shù)分享，侵刪
作者：小牧牧
鏈接：https://www.zhihu.com/question/433702668/answer/1617092684
來源：知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。
我來列舉一些機(jī)器學(xué)習(xí)(Machine Learning)領(lǐng)域的高被引文章。
機(jī)器學(xué)習(xí)領(lǐng)域泰斗級學(xué)者Geoffrey Hinton的文章引用:
引用次數(shù)超過15000次文章有6篇。
ImageNet Classification with Deep Convolutional Neural Networks，引用75231次（AlexNet，點燃了深度學(xué)習(xí)的熱潮，因此2012年被認(rèn)為是深度學(xué)習(xí)元年，當(dāng)然要十分感謝ImageNet和GPU的加持）；
Learning internal representations by error-propagation & Learning representations by back-propagating errors，引用50716次（BP算法，殿堂級別的成果，幾乎所有關(guān)于神經(jīng)網(wǎng)絡(luò)的文章都會用到BP算法）；
Deep learning，引用33222次（“三巨頭”關(guān)于深度學(xué)習(xí)的綜述文章）；
Dropout: a simple way to prevent neural networks from overfitting，引用24452次（Dropout是一種防止深度學(xué)習(xí)模型過擬合的正則化方法，目前已被Google申請專利，面對封鎖，華為諾亞實驗室開源了Disout算法，直接對標(biāo)Google的Dropout）；
Visualizing data using t-SNE，引用16957次（t-SNE是一種流形學(xué)習(xí)方法，用于數(shù)據(jù)降維和可視化）。
在機(jī)器學(xué)習(xí)領(lǐng)域還有一個泰斗級的人物Jürgen Schmidhuber，他的一篇文章Long short-term memory目前的引用量是40934次，是深度學(xué)習(xí)-循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y，Bengio Y和Hinton G在2015年發(fā)表在Nature上的文章Deep learning作者中沒有Jürgen Schmidhuber，不過Schmidhuber在2015也發(fā)表了一篇關(guān)于深度學(xué)習(xí)的綜述文章Deep learning in neural networks: An overview，目前的引用量是10917。后來，“三巨頭“獲得了2018年的“圖靈獎”，Schmidhuber和“三巨頭“在網(wǎng)絡(luò)上因為“成果引用”和“成果認(rèn)定”發(fā)生了大量的口水戰(zhàn)，這些都是后話了。
機(jī)器學(xué)習(xí)領(lǐng)域還有一些重要的成果，對應(yīng)的文章也有不俗的引用量。比如：
一直被對比，從未被超越的Adam，目前的引用量是60604次；
使神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快、更穩(wěn)定的Batch normalization，目前的引用量是22986次；
避免深層網(wǎng)絡(luò)訓(xùn)練時梯度消失或梯度爆炸的激活函數(shù)—線性整流函數(shù)ReLU（Rectified linear units improve restricted boltzmann machines），目前的引用量是11548次。
Zisserman在2014年發(fā)表的關(guān)于VGGNet的文章Very deep convolutional networks for large-scale image recognition，目前的引用量是48691次。Google在2015年發(fā)表的關(guān)于GoogLeNet的文章Going deeper with convolutions，目前的引用量是26353次。何凱明2016年的文章Deep residual learning for image recognition，提出的多達(dá)152層ResNet，目前的引用量是63253次。2016年提出的用于目標(biāo)檢測的Faster R-CNN，目前的引用量是24215次。
女神李飛飛構(gòu)建的ImageNet是計算機(jī)視覺(Computer vision)領(lǐng)域非常著名的大型數(shù)據(jù)集，關(guān)于ImageNet的論文ImageNet: A large-scale hierarchical image database發(fā)表時間是2009年，目前的引用量是23395次，AlexNet就是在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC)上一舉成名，自此點燃了深度學(xué)習(xí)的熱潮，可見大規(guī)模數(shù)據(jù)對于深度學(xué)習(xí)的重要性。
經(jīng)常被調(diào)侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次，這篇文章提出的Transformer是自然語言處理(NLP)領(lǐng)域的重要成果，它的出現(xiàn)迅速取代了LSTM在NLP領(lǐng)域的霸主地位，像BERT、GPT這樣的SOTA模型均采用Transformer。NLP領(lǐng)域的另一個重量級成果是word2vec，作者是來自Google的Tomas Mikolov，關(guān)于word2vec的兩篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分別是24323次和19220次（感謝@ccking的提醒），其實我一直覺得NLP比圖像處理問題復(fù)雜的多，最讓人頭疼的莫過于如何將語言數(shù)字化，我對此的了解僅限于One-hot encoding，實在是太難了。
谷歌大神Ian Goodfellow的關(guān)于GAN的文章Generative adversarial nets目前的引用量是25592次，關(guān)于GAN究竟是誰提出來的我就不得而知了，但是Schmidhuber在這個問題上肯定有很多話要說，至于Schmidhuber究竟說了些啥，參見：鄭華濱：從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念（文字版）。
Hinton老爺子在2006年提出的深度置信網(wǎng)絡(luò)(DBN)被普遍認(rèn)為是深度學(xué)習(xí)的前夕，關(guān)于DBN的兩篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分別是14370次和13659次，DBN是Hinton老爺子最引以為傲的成果，它是一種由多個限制玻爾茲曼機(jī)(RBM)堆棧而成的概率生成模型，是最初訓(xùn)練深度網(wǎng)絡(luò)的一種方法，盡管目前深度學(xué)習(xí)模型不再需要這種預(yù)訓(xùn)練，但它的思想仍然影響著當(dāng)前的研究工作。
未來我認(rèn)為機(jī)器學(xué)習(xí)領(lǐng)域的另一個方向?qū)写罅康奈恼乱么螖?shù)超過15000，這個領(lǐng)域就是強(qiáng)化學(xué)習(xí)(Reinforcement learning)。強(qiáng)化學(xué)習(xí)領(lǐng)域的奠基人之一是來自DeepMind的Richard S. Sutton，它的貢獻(xiàn)主要在時序差分學(xué)習(xí)和策略梯度法，Sutton是David Silver的老師，Silver最引人矚目的成果就是AlphoGo & AlphoGo Zero。
Sutton的專著Reinforcement Learning, An introduction目前的引用量是47121次。強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)碰撞出的DQN方法目前的引用量是12525，用于連續(xù)控制的DDPG方法的引用量是4712。最近DeepMind開發(fā)AlphaFold利用AI技術(shù)解決生物學(xué)50年來的重大挑戰(zhàn)-預(yù)測蛋白質(zhì)折疊，可見AI技術(shù)在眾多領(lǐng)域表現(xiàn)出驚人的生命力，期待AI成為人類擴(kuò)展科學(xué)知識邊界的“得力助手”。
其實近幾年深度學(xué)習(xí)的大熱使得一些傳統(tǒng)的機(jī)器學(xué)習(xí)算法不被人們廣知。比如Vapnik在1995年基于統(tǒng)計學(xué)習(xí)理論提出的支持向量機(jī)(Support Vector Machine, SVM)，代表性文章Support-vector networks目前的引用量是44340次，Vapnik的關(guān)于統(tǒng)計學(xué)習(xí)理論的專著The Nature of Statistical Learning Theory目前的引用量是89766次。
機(jī)器學(xué)習(xí)領(lǐng)域很多方向都是由外國學(xué)者主導(dǎo)的。很慶幸的是，我們在遷移學(xué)習(xí)(Transfer learning)這個方向占據(jù)了一席之地，遷移學(xué)習(xí)領(lǐng)域的發(fā)起人和帶頭人是香港科技大學(xué)的楊強(qiáng)教授。楊強(qiáng)教授的代表性文章A survey on transfer learning目前的引用量是11106次。吳恩達(dá)在NIPS 2016中說：Transfer learning will be the next driver of machine learning commercial success after supervised learning to highlight the importance of transfer learning，讓我們拭目以待吧。
看到很多人喜歡這個回答，我就分享一下我對機(jī)器學(xué)習(xí)的認(rèn)識和理解。
機(jī)器學(xué)習(xí)被普遍認(rèn)為是一種最有希望實現(xiàn)人工智能(Artificial intelligence, AI)的方法，經(jīng)幾十年的發(fā)展，機(jī)器學(xué)習(xí)領(lǐng)域涌現(xiàn)了大量的成果，Pedro Domingos教授將機(jī)器學(xué)習(xí)總結(jié)為5大流派，分別是Symbolists、Connectionists、Evolutionaries、Bayesians和Analogizers。機(jī)器學(xué)習(xí)領(lǐng)域的最初成果是符號主義，它的優(yōu)點在于學(xué)習(xí)的模型和結(jié)果很容易實現(xiàn)跨領(lǐng)域和跨任務(wù)的推廣，但是由于知識獲取和表示的困難，以及當(dāng)時計算能力的限制，符號主義的主張沒有得到應(yīng)用的發(fā)展和大規(guī)模的應(yīng)用。隨著大規(guī)模數(shù)據(jù)量和高性能處理器的出現(xiàn)，聯(lián)結(jié)主義(神經(jīng)網(wǎng)絡(luò))得到了飛速的發(fā)展，2012年后，以深度學(xué)習(xí)為代表的聯(lián)結(jié)主義迅速火爆全球，但是以數(shù)據(jù)驅(qū)動為基礎(chǔ)的聯(lián)結(jié)主義十分脆弱，推廣能力也很差，這也是為什么人們并不信任深度學(xué)習(xí)模型決策的自動駕駛系統(tǒng)。
因此，很多學(xué)者對未來機(jī)器學(xué)習(xí)的發(fā)展方向提供了自己的見解，Geoffrey Hinto老爺子在NIPS2017發(fā)表了一篇題目為Dynamic routing between capsules的文章(目前的引用量為2071次)，核心思想在于重視圖像識別中主要特征的邏輯性，如果只關(guān)注主要特征而忽視特征之間的邏輯性，很容易出現(xiàn)一些非常低級的錯誤，比如一張圖片中隨機(jī)分布兩個眼睛、一個鼻子和一張嘴，現(xiàn)有的深度學(xué)習(xí)模型會認(rèn)為這是一張人臉，簡直不可思議。張鈸院士在《邁向第三代人工智能》文章中指出：當(dāng)前需要將符號主義和聯(lián)結(jié)主義這兩種范式結(jié)合起來，去發(fā)展安全、可信、可靠和可擴(kuò)展的 AI 技術(shù)，即第三代AI技術(shù)。
我非常認(rèn)同張鈸院士的觀點，就機(jī)器學(xué)習(xí)技術(shù)在其他學(xué)科的應(yīng)用來說，我認(rèn)為，數(shù)據(jù)驅(qū)動技術(shù)應(yīng)該建立在領(lǐng)域知識(控制方程)的框架內(nèi)，去開發(fā)一些physics-based & physics-informed的方法，從而使得機(jī)器學(xué)習(xí)做出合理的決策，對其他學(xué)科的發(fā)展起到催化作用。
另外這里重點盤點一下AI領(lǐng)域，特別是CV方向的論文。
值得說一下，自從2012年，特別是2014年后，AI領(lǐng)域再度火爆，延續(xù)至今，很多優(yōu)秀論文（特別是基于深度學(xué)習(xí)）也是發(fā)表在這個期間，引用量也迅速爆炸。
注：下面會邊介紹作者，邊介紹論文，側(cè)重點有點不同。
計算機(jī)視覺領(lǐng)域引用量1.5萬+的論文
Andrew Zisserman（傳聞歐洲計算機(jī)視覺第一人）
第一篇引用量近5萬的是：深度學(xué)習(xí)時代的經(jīng)典backbone模型VGG：Very deep convolutional networks for large-scale image recognition
第二篇引用量近3萬，這其實是一本書《Multiple view geometry in computer vision》，可稱為深度學(xué)習(xí)時代前的CV必讀之作（現(xiàn)在其實也強(qiáng)推，但不少新入坑CV的人，直接跳過這些基礎(chǔ)知識，去玩CNN了）
Jitendra Malik
加州大學(xué)伯克利分校的電子工程與計算機(jī)科學(xué)系(EECS)教授 Jitendra Malik獲頒 2019 年 IEEE 計算機(jī)先驅(qū)獎。
第一篇引用量近4萬，算是12年之前人工智能最經(jīng)典的書籍，內(nèi)容覆蓋范圍相當(dāng)之廣。不過Jitendra Malik并非一二作，所以搜索該書的時候，不容易看到他的名字。
第二篇引用量近1.7萬，基于傳統(tǒng)方法的圖像分割代表作！
下面說說深度學(xué)習(xí)三巨頭（Hinton、Bengio和LeCun）
Geoffrey Hinton
Hinton老爺子的代表作太多了，1.5萬+引用量的論文見下圖（6篇）。比如
第一篇引用量7.5萬+，發(fā)表于2012年的AlexNet！永遠(yuǎn)滴神！
第二篇引用量3.3萬+，是為了紀(jì)念人工智能60周年，深度學(xué)習(xí)三巨頭合作在Nature上發(fā)表深度學(xué)習(xí)的綜述性文章：Deep Learning
還有4篇破1.5萬引用量的論文，這里不贅述，膜拜即可！
Yoshua Bengio
Bengio教授的代表作也太多了，1.5萬+引用量的論文見下圖（5篇）。比如：
第一篇上面說過了，是深度學(xué)習(xí)三巨頭合著的。
第二篇引用量3萬+，這是和LeCun提出了當(dāng)時風(fēng)靡一時的字符識別器（當(dāng)時就是典型落地應(yīng)用）
第三篇引用量2.5萬+，這是和Goodfellow提出了鼎鼎大名的GAN！
第四篇引用量2萬+，這是和Goodfellow發(fā)布了深度學(xué)習(xí)時代的"圣經(jīng)"書籍：Deep Learning，國內(nèi)不少人又稱為花書。
Yann LeCun
LeCun大佬的兩篇破1.5萬的工作，上面已經(jīng)介紹了。
Luc Van Gool
Luc Van Gool 蘇黎世聯(lián)邦理工學(xué)院教授，據(jù)了解，有若干中國學(xué)生曾師從于他。
這篇近3萬引用量就是非常著名的SURF算法
上面提到SURF算法，就不得不提SIFT算法。
David Lowe
SIFT算法引用量近6萬！其是手工特征時代的最具代表性工作！SURF、ORB在它面前都是弟弟，截止目前SIFT仍被廣泛應(yīng)用，相當(dāng)能打！
Trevor Darrell
第一篇引用量近2萬，鼎鼎大名的基于FCN的語義分割網(wǎng)絡(luò)！
第二篇引用量1.5萬+，鼎鼎大名的R-CNN目標(biāo)檢測網(wǎng)絡(luò)。
李飛飛（Li Fei-Fei）
李飛飛女神，創(chuàng)建了ImageNet數(shù)據(jù)集和相關(guān)賽事~ 影響力巨大
上述主要是AI、CV領(lǐng)域的大前輩（年齡基本40+），這里重點介紹幾位"新秀"：
何愷明（Kaiming He）
做CV的應(yīng)該都聽過何愷明，有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。
第一篇是目前CV主流使用的backbone：ResNet，永遠(yuǎn)滴神！
第二篇是目標(biāo)檢測領(lǐng)域代表性網(wǎng)絡(luò)：Faster R-CNN
估計17年發(fā)表的Mask R-CNN 也快破1.5萬引用量了
Ross Girshick
他與何愷明算是合作搭檔，都在FAIR工作，有不少合作的工作。
有鼎鼎大名的R-CNN系列工作，合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。
Ian Goodfellow
GAN 之父！下面三個工作都是目前頂級活躍的，比如GAN、Deep Learning書籍和TensorFlow框架
任少卿（Shaoqing Ren）
Faster R-CNN一作！貌似現(xiàn)在不做研究了，主要在企業(yè)（目前在蔚來）擔(dān)任技術(shù)主管/副總裁。
其實CV領(lǐng)域還有很多超1.5萬的論文，限于篇幅這里就不一一盤點：
2020年1月底發(fā)表在《柳葉刀》的文章，一年時間不到超過兩萬次引用，應(yīng)該是人類科學(xué)史上從發(fā)表到被引用超過兩萬次用時最短的文章。第一作者是武漢金銀潭醫(yī)院的副院長黃朝林，通訊作者是中日友好醫(yī)院曹彬。文章報道了2019年底在武漢發(fā)現(xiàn)的一種能感染人類的新型乙類冠狀病毒以及其臨床特點。現(xiàn)在再閱讀此文有種幻如隔世的不真實感。
作者：BeyondSelf
鏈接：https://www.zhihu.com/question/433702668/answer/1624083551
來源：知乎
這一次我要來一點硬核的，暴力搜索跟IEEE的關(guān)鍵詞相關(guān)的高被引論文，主要涉及計算機(jī)、自動化、通信、電氣、機(jī)器學(xué)習(xí)等領(lǐng)域，得到300篇引用次數(shù)在15000以上的論文。
做法如下：
使用IEEE提供的關(guān)鍵詞文檔，選取它的所有一級關(guān)鍵詞，作為我們搜索論文時所使用的關(guān)鍵詞
調(diào)用微軟學(xué)術(shù)的搜索API
對每一個關(guān)鍵詞搜索，得到引用排名前1000的論文
將所有論文合并，刪除重復(fù)值，進(jìn)行排序
按照引用次序，得到相關(guān)的300篇論文
以下就是結(jié)果：
作者：BeyondSelf
鏈接：https://www.zhihu.com/question/433702668/answer/1624083551
來源：知乎
我梳理一下通信和圖像處理方面，讀過的一些經(jīng)典的，超過15000引用的論文.
A Mathematical theory of communication
引用次數(shù)：78680
評價：開創(chuàng)了信息論，直接奠定了通信的發(fā)展，大名鼎鼎的香農(nóng)三定理和熵的概念就是在這篇文章中提出的。沒有它，就沒有WiFi和5G，也沒有我們刷著知乎聽著歌
2. A combined coerner and edge detector
引用次數(shù)：18167
評價：提出了角點特征，能夠檢測圖片中的角點、邊緣和圖片。是圖像特征提取的代表作，是圖像分割、匹配等的基礎(chǔ)。
3. Distinctive image features from scale-invariant keypoints
引用次數(shù)：59561
評價：大名鼎鼎的SIFT特征，具有尺度、方向、仿射不變性，和上一篇論文的Haris特征一起，成為圖像特征提取的兩個最重要技術(shù)。
4. Object recognition from local scale-invariant features
引用次數(shù)：20100
評價：David Lowe的另一篇文章，說的是利用尺度不變特征來進(jìn)行目標(biāo)識別
5. Compressed Sensing
引用次數(shù)：27557
評價：壓縮感知的代表作之一，將采樣和壓縮過程結(jié)合起來同時進(jìn)行，直接對信號的稀疏性進(jìn)行感知。
6. Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information
引用次數(shù)：16700
評價：壓縮感知的另一篇代表作
7. A new approach to linear filtering and prediction problems
引用次數(shù)：35070
評價：提出了著名的卡爾曼濾波。如果你沒聽說過卡爾曼濾波不要僅，但你一定點過外賣，打過滴滴，甚至美國阿波羅號上天也用過它，根據(jù)測量值和狀態(tài)方程修正真實值，就是它干的事情，
8. A computational approach to edge detection
引用次數(shù)：35942
評價：邊緣檢測的另一篇代表作
9. Gradient-based learning applied to document recognition
引用次數(shù)：32192
評價：LeCun的經(jīng)典論文，做過機(jī)器學(xué)習(xí)的都知道，沒做過機(jī)器學(xué)習(xí)的也一般聽說過MNIST數(shù)據(jù)集
作者：遠(yuǎn)處群山
鏈接：https://www.zhihu.com/question/433702668/answer/1622573162
來源：知乎
引用一萬五千次以上的論文相當(dāng)罕見，基本上都屬于開山之作，開創(chuàng)了某個中等或者大領(lǐng)域的作品。也可以說是養(yǎng)活了很多人的作品...
現(xiàn)在深度學(xué)習(xí)的論文里15000次引用的挺多的，看到也有其他答主總結(jié)了，我就重點說下信號處理和圖像處理的經(jīng)典論文，
壓縮感知的兩篇開山之作：
Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次引用
Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次引用
統(tǒng)計學(xué)習(xí)里大名鼎鼎的LASSO：
Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 引用35000次
統(tǒng)計學(xué)習(xí)的圣典：
Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273-297.
圖像分割的開山之作normalized cut：
Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 引用16000次
同樣來自Malik老師的圖像去噪神作——擴(kuò)散濾波，威名赫赫的Perona-Malik模型，多少PDE-based image processing methods就是源自這里：
Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 引用15000次
圖像去噪的又一神作，超級經(jīng)典的全變差模型：
Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 引用15000次
無比經(jīng)典的SIFT圖像特征檢測以及方向梯度直方圖（HOG）模型，做圖像處理的應(yīng)該沒有不知道這兩個的：
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次引用
Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, 2005, 1: 886-893. 32000次引用
做圖像恢復(fù)的人肯定都知道SSIM這個指標(biāo)，出自這篇文章：
Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 引用27000
往期精彩：
【原創(chuàng)首發(fā)】機(jī)器學(xué)習(xí)公式推導(dǎo)與代碼實現(xiàn)30講.pdf
【原創(chuàng)首發(fā)】深度學(xué)習(xí)語義分割理論與實戰(zhàn)指南.pdf
求個在看