機(jī)器學(xué)習(xí)領(lǐng)域：引用次數(shù)在15000次以上的都是什么神仙論文？

點(diǎn)擊左上方藍(lán)字關(guān)注我們

全網(wǎng)搜集目標(biāo)檢測(cè)相關(guān)，人工篩選最優(yōu)價(jià)值內(nèi)容

編者薦語(yǔ)

文章梳理并總結(jié)了知乎上“引用次數(shù)在15000次以上的都是什么論文？”這一問(wèn)題的經(jīng)典回答，希望能幫助您進(jìn)一步了解領(lǐng)域內(nèi)的相關(guān)進(jìn)展，同時(shí)希望可以通過(guò)閱讀這些經(jīng)典論文給您帶來(lái)一些啟發(fā)。

轉(zhuǎn)載自 | 深度學(xué)習(xí)這件小事

【導(dǎo)讀】

作者：小牧牧

https://www.zhihu.com/question/433702668/answer/1617092684

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

1. 機(jī)器學(xué)習(xí)領(lǐng)域

我來(lái)列舉一些機(jī)器學(xué)習(xí)(Machine Learning)領(lǐng)域的高被引文章。

機(jī)器學(xué)習(xí)領(lǐng)域泰斗級(jí)學(xué)者Geoffrey Hinton的文章引用:

引用次數(shù)超過(guò)15000次文章有6篇。

1. ImageNet Classification with Deep Convolutional Neural Networks，引用75231次（AlexNet，點(diǎn)燃了深度學(xué)習(xí)的熱潮，因此2012年被認(rèn)為是深度學(xué)習(xí)元年，當(dāng)然要十分感謝ImageNet和GPU的加持）；

2. Learning internal representations by error-propagation & Learning representations by back-propagating errors，引用50716次（BP算法，殿堂級(jí)別的成果，幾乎所有關(guān)于神經(jīng)網(wǎng)絡(luò)的文章都會(huì)用到BP算法）；

3. Deep learning，引用33222次（“三巨頭”關(guān)于深度學(xué)習(xí)的綜述文章）；

4. Dropout: a simple way to prevent neural networks from overfitting，引用24452次（Dropout是一種防止深度學(xué)習(xí)模型過(guò)擬合的正則化方法，目前已被Google申請(qǐng)專(zhuān)利，面對(duì)封鎖，華為諾亞實(shí)驗(yàn)室開(kāi)源了Disout算法，直接對(duì)標(biāo)Google的Dropout）；

5. Visualizing data using t-SNE，引用16957次（t-SNE是一種流形學(xué)習(xí)方法，用于數(shù)據(jù)降維和可視化）。

Geoffrey Hinton谷歌學(xué)術(shù)引用次數(shù)

---

在機(jī)器學(xué)習(xí)領(lǐng)域還有一個(gè)泰斗級(jí)的人物Jürgen Schmidhuber，他的一篇文章Long short-term memory目前的引用量是40934次，是深度學(xué)習(xí)-循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y，Bengio Y和Hinton G在2015年發(fā)表在Nature上的文章Deep learning作者中沒(méi)有Jürgen Schmidhuber，不過(guò)Schmidhuber在2015也發(fā)表了一篇關(guān)于深度學(xué)習(xí)的綜述文章Deep learning in neural networks: An overview，目前的引用量是10917。后來(lái)，“三巨頭“獲得了2018年的“圖靈獎(jiǎng)”，Schmidhuber和“三巨頭“在網(wǎng)絡(luò)上因?yàn)椤俺晒谩焙汀俺晒J(rèn)定”發(fā)生了大量的口水戰(zhàn)，這些都是后話了。

---

機(jī)器學(xué)習(xí)領(lǐng)域還有一些重要的成果，對(duì)應(yīng)的文章也有不俗的引用量。比如：

• 一直被對(duì)比，從未被超越的Adam，目前的引用量是60604次；

• 使神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快、更穩(wěn)定的Batch normalization，目前的引用量是22986次；

• 避免深層網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失或梯度爆炸的激活函數(shù)—線性整流函數(shù)ReLU（Rectified linear units improve restricted boltzmann machines），目前的引用量是11548次。

• Zisserman在2014年發(fā)表的關(guān)于VGGNet的文章Very deep convolutional networks for large-scale image recognition，目前的引用量是48691次。Google在2015年發(fā)表的關(guān)于GoogLeNet的文章Going deeper with convolutions，目前的引用量是26353次。何凱明2016年的文章Deep residual learning for image recognition，提出的多達(dá)152層ResNet，目前的引用量是63253次。2016年提出的用于目標(biāo)檢測(cè)的Faster R-CNN，目前的引用量是24215次。

女神李飛飛構(gòu)建的ImageNet是計(jì)算機(jī)視覺(jué)(Computer vision)領(lǐng)域非常著名的大型數(shù)據(jù)集，關(guān)于ImageNet的論文ImageNet: A large-scale hierarchical image database發(fā)表時(shí)間是2009年，目前的引用量是23395次，AlexNet就是在2012年ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC)上一舉成名，自此點(diǎn)燃了深度學(xué)習(xí)的熱潮，可見(jiàn)大規(guī)模數(shù)據(jù)對(duì)于深度學(xué)習(xí)的重要性。

經(jīng)常被調(diào)侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次，這篇文章提出的Transformer是自然語(yǔ)言處理(NLP)領(lǐng)域的重要成果，它的出現(xiàn)迅速取代了LSTM在NLP領(lǐng)域的霸主地位，像BERT、GPT這樣的SOTA模型均采用Transformer。NLP領(lǐng)域的另一個(gè)重量級(jí)成果是word2vec，作者是來(lái)自Google的Tomas Mikolov，關(guān)于word2vec的兩篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分別是24323次和19220次（感謝@ccking的提醒），其實(shí)我一直覺(jué)得NLP比圖像處理問(wèn)題復(fù)雜的多，最讓人頭疼的莫過(guò)于如何將語(yǔ)言數(shù)字化，我對(duì)此的了解僅限于One-hot encoding，實(shí)在是太難了。

谷歌大神Ian Goodfellow的關(guān)于GAN的文章Generative adversarial nets目前的引用量是25592次，關(guān)于GAN究竟是誰(shuí)提出來(lái)的我就不得而知了，但是Schmidhuber在這個(gè)問(wèn)題上肯定有很多話要說(shuō)，至于Schmidhuber究竟說(shuō)了些啥，參見(jiàn)：鄭華濱：從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念（文字版）。

Hinton老爺子在2006年提出的深度置信網(wǎng)絡(luò)(DBN)被普遍認(rèn)為是深度學(xué)習(xí)的前夕，關(guān)于DBN的兩篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分別是14370次和13659次，DBN是Hinton老爺子最引以為傲的成果，它是一種由多個(gè)限制玻爾茲曼機(jī)(RBM)堆棧而成的概率生成模型，是最初訓(xùn)練深度網(wǎng)絡(luò)的一種方法，盡管目前深度學(xué)習(xí)模型不再需要這種預(yù)訓(xùn)練，但它的思想仍然影響著當(dāng)前的研究工作。

2. 計(jì)算機(jī)視覺(jué)領(lǐng)域

這里重點(diǎn)盤(pán)點(diǎn)一下AI領(lǐng)域，特別是CV方向的論文。

值得說(shuō)一下，自從2012年，特別是2014年后，AI領(lǐng)域再度火爆，延續(xù)至今，很多優(yōu)秀論文（特別是基于深度學(xué)習(xí)）也是發(fā)表在這個(gè)期間，引用量也迅速爆炸。

• 注：下面會(huì)邊介紹作者，邊介紹論文，側(cè)重點(diǎn)有點(diǎn)不同。

計(jì)算機(jī)視覺(jué)領(lǐng)域引用量1.5萬(wàn)+的論文

Andrew Zisserman（傳聞歐洲計(jì)算機(jī)視覺(jué)第一人）

第一篇引用量近5萬(wàn)的是：深度學(xué)習(xí)時(shí)代的經(jīng)典backbone模型VGG：Very deep convolutional networks for large-scale image recognition

第二篇引用量近3萬(wàn)，這其實(shí)是一本書(shū)《Multiple view geometry in computer vision》，可稱為深度學(xué)習(xí)時(shí)代前的CV必讀之作（現(xiàn)在其實(shí)也強(qiáng)推，但不少新入坑CV的人，直接跳過(guò)這些基礎(chǔ)知識(shí)，去玩CNN了）

Jitendra Malik

加州大學(xué)伯克利分校的電子工程與計(jì)算機(jī)科學(xué)系(EECS)教授 Jitendra Malik獲頒 2019 年 IEEE 計(jì)算機(jī)先驅(qū)獎(jiǎng)。

第一篇引用量近4萬(wàn)，算是12年之前人工智能最經(jīng)典的書(shū)籍，內(nèi)容覆蓋范圍相當(dāng)之廣。不過(guò)Jitendra Malik并非一二作，所以搜索該書(shū)的時(shí)候，不容易看到他的名字。

第二篇引用量近1.7萬(wàn)，基于傳統(tǒng)方法的圖像分割代表作！

下面說(shuō)說(shuō)深度學(xué)習(xí)三巨頭（Hinton、Bengio和LeCun）

Geoffrey Hinton

Hinton老爺子的代表作太多了，1.5萬(wàn)+引用量的論文見(jiàn)下圖（6篇）。比如

第一篇引用量7.5萬(wàn)+，發(fā)表于2012年的AlexNet！永遠(yuǎn)滴神！

第二篇引用量3.3萬(wàn)+，是為了紀(jì)念人工智能60周年，深度學(xué)習(xí)三巨頭合作在Nature上發(fā)表深度學(xué)習(xí)的綜述性文章：Deep Learning

還有4篇破1.5萬(wàn)引用量的論文，這里不贅述，膜拜即可！

Yoshua Bengio

Bengio教授的代表作也太多了，1.5萬(wàn)+引用量的論文見(jiàn)下圖（5篇）。比如：

第一篇上面說(shuō)過(guò)了，是深度學(xué)習(xí)三巨頭合著的。

第二篇引用量3萬(wàn)+，這是和LeCun提出了當(dāng)時(shí)風(fēng)靡一時(shí)的字符識(shí)別器（當(dāng)時(shí)就是典型落地應(yīng)用）

第三篇引用量2.5萬(wàn)+，這是和Goodfellow提出了鼎鼎大名的GAN！

第四篇引用量2萬(wàn)+，這是和Goodfellow發(fā)布了深度學(xué)習(xí)時(shí)代的"圣經(jīng)"書(shū)籍：Deep Learning，國(guó)內(nèi)不少人又稱為花書(shū)。

Yann LeCun

LeCun大佬的兩篇破1.5萬(wàn)的工作，上面已經(jīng)介紹了。

Luc Van Gool

Luc Van Gool 蘇黎世聯(lián)邦理工學(xué)院教授，據(jù)了解，有若干中國(guó)學(xué)生曾師從于他。

這篇近3萬(wàn)引用量就是非常著名的SURF算法

上面提到SURF算法，就不得不提SIFT算法。

David Lowe

SIFT算法引用量近6萬(wàn)！其是手工特征時(shí)代的最具代表性工作！SURF、ORB在它面前都是弟弟，截止目前SIFT仍被廣泛應(yīng)用，相當(dāng)能打！

Trevor Darrell

第一篇引用量近2萬(wàn)，鼎鼎大名的基于FCN的語(yǔ)義分割網(wǎng)絡(luò)！

第二篇引用量1.5萬(wàn)+，鼎鼎大名的R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)。

李飛飛（Li Fei-Fei）

李飛飛女神，創(chuàng)建了ImageNet數(shù)據(jù)集和相關(guān)賽事~ 影響力巨大

上述主要是AI、CV領(lǐng)域的大前輩（年齡基本40+），這里重點(diǎn)介紹幾位"新秀"：

何愷明（Kaiming He）

做CV的應(yīng)該都聽(tīng)過(guò)何愷明，有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。

第一篇是目前CV主流使用的backbone：ResNet，永遠(yuǎn)滴神！

第二篇是目標(biāo)檢測(cè)領(lǐng)域代表性網(wǎng)絡(luò)：Faster R-CNN

估計(jì)17年發(fā)表的Mask R-CNN 也快破1.5萬(wàn)引用量了

Ross Girshick

他與何愷明算是合作搭檔，都在FAIR工作，有不少合作的工作。

有鼎鼎大名的R-CNN系列工作，合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。

Ian Goodfellow

GAN 之父！下面三個(gè)工作都是目前頂級(jí)活躍的，比如GAN、Deep Learning書(shū)籍和TensorFlow框架

任少卿（Shaoqing Ren）

Faster R-CNN一作！貌似現(xiàn)在不做研究了，主要在企業(yè)（目前在蔚來(lái)）擔(dān)任技術(shù)主管/副總裁。

其實(shí)CV領(lǐng)域還有很多超1.5萬(wàn)的論文，限于篇幅這里就不一一盤(pán)點(diǎn)：

作者：BeyondSelf

https://www.zhihu.com/question/433702668/answer/1624083551

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

我梳理一下通信和圖像處理方面，讀過(guò)的一些經(jīng)典的，超過(guò)15000引用的論文.

1. A Mathematical theory of communication

引用次數(shù)：78680

評(píng)價(jià)：開(kāi)創(chuàng)了信息論，直接奠定了通信的發(fā)展，大名鼎鼎的香農(nóng)三定理和熵的概念就是在這篇文章中提出的。沒(méi)有它，就沒(méi)有WiFi和5G，也沒(méi)有我們刷著知乎聽(tīng)著歌

2. A combined coerner and edge detector

引用次數(shù)：18167

評(píng)價(jià)：提出了角點(diǎn)特征，能夠檢測(cè)圖片中的角點(diǎn)、邊緣和圖片。是圖像特征提取的代表作，是圖像分割、匹配等的基礎(chǔ)。

3. Distinctive image features from scale-invariant keypoints

引用次數(shù)：59561

評(píng)價(jià)：大名鼎鼎的SIFT特征，具有尺度、方向、仿射不變性，和上一篇論文的Haris特征一起，成為圖像特征提取的兩個(gè)最重要技術(shù)。

4. Object recognition from local scale-invariant features

引用次數(shù)：20100

評(píng)價(jià)：David Lowe的另一篇文章，說(shuō)的是利用尺度不變特征來(lái)進(jìn)行目標(biāo)識(shí)別

5. Compressed Sensing

引用次數(shù)：27557

評(píng)價(jià)：壓縮感知的代表作之一，將采樣和壓縮過(guò)程結(jié)合起來(lái)同時(shí)進(jìn)行，直接對(duì)信號(hào)的稀疏性進(jìn)行感知。

6. Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information

引用次數(shù)：16700

評(píng)價(jià)：壓縮感知的另一篇代表作

7.  A new approach to linear filtering and prediction problems

引用次數(shù)：35070

評(píng)價(jià)：提出了著名的卡爾曼濾波。如果你沒(méi)聽(tīng)說(shuō)過(guò)卡爾曼濾波不要僅，但你一定點(diǎn)過(guò)外賣(mài)，打過(guò)滴滴，甚至美國(guó)阿波羅號(hào)上天也用過(guò)它，根據(jù)測(cè)量值和狀態(tài)方程修正真實(shí)值，就是它干的事情，

8. A computational approach to edge detection

引用次數(shù)：35942

評(píng)價(jià)：邊緣檢測(cè)的另一篇代表作

9. Gradient-based learning applied to document recognition

引用次數(shù)：32192

評(píng)價(jià)：LeCun的經(jīng)典論文，做過(guò)機(jī)器學(xué)習(xí)的都知道，沒(méi)做過(guò)機(jī)器學(xué)習(xí)的也一般聽(tīng)說(shuō)過(guò)MNIST數(shù)據(jù)集

作者：遠(yuǎn)處群山

https://www.zhihu.com/question/433702668/answer/1622573162

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

引用一萬(wàn)五千次以上的論文相當(dāng)罕見(jiàn)，基本上都屬于開(kāi)山之作，開(kāi)創(chuàng)了某個(gè)中等或者大領(lǐng)域的作品。也可以說(shuō)是養(yǎng)活了很多人的作品...

現(xiàn)在深度學(xué)習(xí)的論文里15000次引用的挺多的，看到也有其他答主總結(jié)了，我就重點(diǎn)說(shuō)下信號(hào)處理和圖像處理的經(jīng)典論文，

壓縮感知的兩篇開(kāi)山之作：

• Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次引用

• Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次引用

  
  

統(tǒng)計(jì)學(xué)習(xí)里大名鼎鼎的LASSO：

• Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 引用35000次

統(tǒng)計(jì)學(xué)習(xí)的圣典：

• Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273-297.

  
  

圖像分割的開(kāi)山之作normalized cut：

• Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 引用16000次

同樣來(lái)自Malik老師的圖像去噪神作——擴(kuò)散濾波，威名赫赫的Perona-Malik模型，多少PDE-based image processing methods就是源自這里：

• Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 引用15000次

圖像去噪的又一神作，超級(jí)經(jīng)典的全變差模型：

• Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 引用15000次

無(wú)比經(jīng)典的SIFT圖像特征檢測(cè)以及方向梯度直方圖（HOG）模型，做圖像處理的應(yīng)該沒(méi)有不知道這兩個(gè)的：

• Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次引用

• Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, 2005, 1: 886-893. 32000次引用

  
  

做圖像恢復(fù)的人肯定都知道SSIM這個(gè)指標(biāo)，出自這篇文章：

• Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 引用27000

END

整理不易，點(diǎn)贊三連↓