ImageNet Classification with Deep Convolutional Neural Networks,引用75231次(AlexNet,點燃了深度學(xué)習(xí)的熱潮,因此2012年被認為是深度學(xué)習(xí)元年,當然要十分感謝ImageNet和GPU的加持);
Learning internal representations by error-propagation & Learning representations by back-propagating errors,引用50716次(BP算法,殿堂級別的成果,幾乎所有關(guān)于神經(jīng)網(wǎng)絡(luò)的文章都會用到BP算法);
Deep learning,引用33222次(“三巨頭”關(guān)于深度學(xué)習(xí)的綜述文章);
Dropout: a simple way to prevent neural networks from overfitting,引用24452次(Dropout是一種防止深度學(xué)習(xí)模型過擬合的正則化方法,目前已被Google申請專利,面對封鎖,華為諾亞實驗室開源了Disout算法,直接對標Google的Dropout);
Visualizing data using t-SNE,引用16957次(t-SNE是一種流形學(xué)習(xí)方法,用于數(shù)據(jù)降維和可視化)。
避免深層網(wǎng)絡(luò)訓(xùn)練時梯度消失或梯度爆炸的激活函數(shù)—線性整流函數(shù)ReLU(Rectified linear units improve restricted boltzmann machines),目前的引用量是11548次。
Zisserman在2014年發(fā)表的關(guān)于VGGNet的文章Very deep convolutional networks for large-scale image recognition,目前的引用量是48691次。Google在2015年發(fā)表的關(guān)于GoogLeNet的文章Going deeper with convolutions,目前的引用量是26353次。何凱明2016年的文章Deep residual learning for image recognition,提出的多達152層ResNet,目前的引用量是63253次。2016年提出的用于目標檢測的Faster R-CNN,目前的引用量是24215次。
女神李飛飛構(gòu)建的ImageNet是計算機視覺(Computer vision)領(lǐng)域非常著名的大型數(shù)據(jù)集,關(guān)于ImageNet的論文ImageNet: A large-scale hierarchical image database發(fā)表時間是2009年,目前的引用量是23395次,AlexNet就是在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC)上一舉成名,自此點燃了深度學(xué)習(xí)的熱潮,可見大規(guī)模數(shù)據(jù)對于深度學(xué)習(xí)的重要性。 經(jīng)常被調(diào)侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次,這篇文章提出的Transformer是自然語言處理(NLP)領(lǐng)域的重要成果,它的出現(xiàn)迅速取代了LSTM在NLP領(lǐng)域的霸主地位,像BERT、GPT這樣的SOTA模型均采用Transformer。NLP領(lǐng)域的另一個重量級成果是word2vec,作者是來自Google的Tomas Mikolov,關(guān)于word2vec的兩篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分別是24323次和19220次(感謝@ccking的提醒),其實我一直覺得NLP比圖像處理問題復(fù)雜的多,最讓人頭疼的莫過于如何將語言數(shù)字化,我對此的了解僅限于One-hot encoding,實在是太難了。 谷歌大神Ian Goodfellow的關(guān)于GAN的文章Generative adversarial nets目前的引用量是25592次,關(guān)于GAN究竟是誰提出來的我就不得而知了,但是Schmidhuber在這個問題上肯定有很多話要說,至于Schmidhuber究竟說了些啥,參見:鄭華濱:從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念(文字版)。 Hinton老爺子在2006年提出的深度置信網(wǎng)絡(luò)(DBN)被普遍認為是深度學(xué)習(xí)的前夕,關(guān)于DBN的兩篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分別是14370次和13659次,DBN是Hinton老爺子最引以為傲的成果,它是一種由多個限制玻爾茲曼機(RBM)堆棧而成的概率生成模型,是最初訓(xùn)練深度網(wǎng)絡(luò)的一種方法,盡管目前深度學(xué)習(xí)模型不再需要這種預(yù)訓(xùn)練,但它的思想仍然影響著當前的研究工作。
Andrew Zisserman(傳聞歐洲計算機視覺第一人) 第一篇引用量近5萬的是:深度學(xué)習(xí)時代的經(jīng)典backbone模型VGG:Very deep convolutional networks for large-scale image recognition 第二篇引用量近3萬,這其實是一本書《Multiple view geometry in computer vision》,可稱為深度學(xué)習(xí)時代前的CV必讀之作(現(xiàn)在其實也強推,但不少新入坑CV的人,直接跳過這些基礎(chǔ)知識,去玩CNN了) Jitendra Malik加州大學(xué)伯克利分校的電子工程與計算機科學(xué)系(EECS)教授 Jitendra Malik獲頒 2019 年 IEEE 計算機先驅(qū)獎。第一篇引用量近4萬,算是12年之前人工智能最經(jīng)典的書籍,內(nèi)容覆蓋范圍相當之廣。不過Jitendra Malik并非一二作,所以搜索該書的時候,不容易看到他的名字。第二篇引用量近1.7萬,基于傳統(tǒng)方法的圖像分割代表作! 下面說說深度學(xué)習(xí)三巨頭(Hinton、Bengio和LeCun) Geoffrey HintonHinton老爺子的代表作太多了,1.5萬+引用量的論文見下圖(6篇)。比如第一篇引用量7.5萬+,發(fā)表于2012年的AlexNet!永遠滴神!第二篇引用量3.3萬+,是為了紀念人工智能60周年,深度學(xué)習(xí)三巨頭合作在Nature上發(fā)表深度學(xué)習(xí)的綜述性文章:Deep Learning還有4篇破1.5萬引用量的論文,這里不贅述,膜拜即可! Yoshua BengioBengio教授的代表作也太多了,1.5萬+引用量的論文見下圖(5篇)。比如: 第一篇上面說過了,是深度學(xué)習(xí)三巨頭合著的。第二篇引用量3萬+,這是和LeCun提出了當時風(fēng)靡一時的字符識別器(當時就是典型落地應(yīng)用)第三篇引用量2.5萬+,這是和Goodfellow提出了鼎鼎大名的GAN!第四篇引用量2萬+,這是和Goodfellow發(fā)布了深度學(xué)習(xí)時代的"圣經(jīng)"書籍:Deep Learning,國內(nèi)不少人又稱為花書。 Yann LeCunLeCun大佬的兩篇破1.5萬的工作,上面已經(jīng)介紹了。 Luc Van GoolLuc Van Gool 蘇黎世聯(lián)邦理工學(xué)院教授,據(jù)了解,有若干中國學(xué)生曾師從于他。這篇近3萬引用量就是非常著名的SURF算法上面提到SURF算法,就不得不提SIFT算法。 David LoweSIFT算法引用量近6萬!其是手工特征時代的最具代表性工作!SURF、ORB在它面前都是弟弟,截止目前SIFT仍被廣泛應(yīng)用,相當能打! Trevor Darrell第一篇引用量近2萬,鼎鼎大名的基于FCN的語義分割網(wǎng)絡(luò)!第二篇引用量1.5萬+,鼎鼎大名的R-CNN目標檢測網(wǎng)絡(luò)。 李飛飛(Li Fei-Fei)李飛飛女神,創(chuàng)建了ImageNet數(shù)據(jù)集和相關(guān)賽事~ 影響力巨大上述主要是AI、CV領(lǐng)域的大前輩(年齡基本40+),這里重點介紹幾位"新秀": 何愷明(Kaiming He)做CV的應(yīng)該都聽過何愷明,有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。第一篇是目前CV主流使用的backbone:ResNet,永遠滴神!第二篇是目標檢測領(lǐng)域代表性網(wǎng)絡(luò):Faster R-CNN估計17年發(fā)表的Mask R-CNN 也快破1.5萬引用量了 Ross Girshick他與何愷明算是合作搭檔,都在FAIR工作,有不少合作的工作。有鼎鼎大名的R-CNN系列工作,合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。 Ian GoodfellowGAN 之父!下面三個工作都是目前頂級活躍的,比如GAN、Deep Learning書籍和TensorFlow框架 任少卿(Shaoqing Ren)Faster R-CNN一作!貌似現(xiàn)在不做研究了,主要在企業(yè)(目前在蔚來)擔任技術(shù)主管/副總裁。 其實CV領(lǐng)域還有很多超1.5萬的論文,限于篇幅這里就不一一盤點: 作者:BeyondSelfhttps://www.zhihu.com/question/433702668/answer/1624083551著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。 我梳理一下通信和圖像處理方面,讀過的一些經(jīng)典的,超過15000引用的論文. 1. A Mathematical theory of communication引用次數(shù):78680評價:開創(chuàng)了信息論,直接奠定了通信的發(fā)展,大名鼎鼎的香農(nóng)三定理和熵的概念就是在這篇文章中提出的。沒有它,就沒有WiFi和5G,也沒有我們刷著知乎聽著歌 2. A combined coerner and edge detector引用次數(shù):18167評價:提出了角點特征,能夠檢測圖片中的角點、邊緣和圖片。是圖像特征提取的代表作,是圖像分割、匹配等的基礎(chǔ)。 3. Distinctive image features from scale-invariant keypoints引用次數(shù):59561評價:大名鼎鼎的SIFT特征,具有尺度、方向、仿射不變性,和上一篇論文的Haris特征一起,成為圖像特征提取的兩個最重要技術(shù)。 4. Object recognition from local scale-invariant features引用次數(shù):20100評價:David Lowe的另一篇文章,說的是利用尺度不變特征來進行目標識別 5. Compressed Sensing引用次數(shù):27557評價:壓縮感知的代表作之一,將采樣和壓縮過程結(jié)合起來同時進行,直接對信號的稀疏性進行感知。 6. Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information引用次數(shù):16700評價:壓縮感知的另一篇代表作 7. A new approach to linear filtering and prediction problems引用次數(shù):35070評價:提出了著名的卡爾曼濾波。如果你沒聽說過卡爾曼濾波不要僅,但你一定點過外賣,打過滴滴,甚至美國阿波羅號上天也用過它,根據(jù)測量值和狀態(tài)方程修正真實值,就是它干的事情, 8. A computational approach to edge detection引用次數(shù):35942評價:邊緣檢測的另一篇代表作 9. Gradient-based learning applied to document recognition引用次數(shù):32192評價:LeCun的經(jīng)典論文,做過機器學(xué)習(xí)的都知道,沒做過機器學(xué)習(xí)的也一般聽說過MNIST數(shù)據(jù)集 作者:遠處群山https://www.zhihu.com/question/433702668/answer/1622573162著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。 引用一萬五千次以上的論文相當罕見,基本上都屬于開山之作,開創(chuàng)了某個中等或者大領(lǐng)域的作品。也可以說是養(yǎng)活了很多人的作品...現(xiàn)在深度學(xué)習(xí)的論文里15000次引用的挺多的,看到也有其他答主總結(jié)了,我就重點說下信號處理和圖像處理的經(jīng)典論文, 壓縮感知的兩篇開山之作:
Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次引用
Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次引用
統(tǒng)計學(xué)習(xí)里大名鼎鼎的LASSO:
Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 引用35000次
Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 引用16000次
Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 引用15000次
圖像去噪的又一神作,超級經(jīng)典的全變差模型:
Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 引用15000次
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次引用
Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR 05). IEEE, 2005, 1: 886-893. 32000次引用
做圖像恢復(fù)的人肯定都知道SSIM這個指標,出自這篇文章:
Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 引用27000