何愷明編年史
榮譽(yù)
別人的榮譽(yù)都是在某某大廠工作，拿過(guò)什么大獎(jiǎng)，而何愷明的榮譽(yù)是best，best，best ......，裂開(kāi)了
研究興趣
據(jù)我觀察，何愷明的研究興趣大致分成這么幾個(gè)階段：
傳統(tǒng)視覺(jué)時(shí)代：Haze Removal(3篇)、Image Completion(2篇)、Image Warping(3篇)、Binary Encoding(6篇)
深度學(xué)習(xí)時(shí)代：Neural Architecture(11篇)、Object Detection(7篇)、Semantic Segmentation(11篇)、Video Understanding(4篇)、Self-Supervised(8篇)
代表作
2009 CVPR best paper?Single Image Haze Removal Using Dark Channel Prior
利用實(shí)驗(yàn)觀察到的暗通道先驗(yàn)，巧妙的構(gòu)造了圖像去霧算法?，F(xiàn)在主流的圖像去霧算法還是在Dark Channel Prior的基礎(chǔ)上做的改進(jìn)。
2016 CVPR best paper?Deep Residual Learning for Image Recognition
通過(guò)殘差連接，可以訓(xùn)練非常深的卷積神經(jīng)網(wǎng)絡(luò)。不管是之前的CNN，還是最近的ViT、MLP-Mixer架構(gòu)，仍然擺脫不了殘差連接的影響。
2017 ICCV best paper?Mask R-CNN
在Faster R-CNN的基礎(chǔ)上，增加一個(gè)實(shí)例分割分支，并且將RoI Pooling替換成了RoI Align，使得實(shí)例分割精度大幅度提升。雖然最新的實(shí)例分割算法層出不窮，但是精度上依然難以超越Mask R-CNN。
2017 ICCV best student paper?Focal Loss for Dense Object Detection
構(gòu)建了一個(gè)One-Stage檢測(cè)器RetinaNet，同時(shí)提出Focal Loss來(lái)處理One-Stage的類別不均衡問(wèn)題，在目標(biāo)檢測(cè)任務(wù)上首次One-Stage檢測(cè)器的速度和精度都優(yōu)于Two-Stage檢測(cè)器。近些年的One-Stage檢測(cè)器(如FCOS、ATSS)，仍然以RetinaNet為基礎(chǔ)進(jìn)行改進(jìn)。
2020 CVPR Best Paper Nominee?Momentum Contrast for Unsupervised Visual Representation Learning
19年末，NLP領(lǐng)域的Transformer進(jìn)一步應(yīng)用于Unsupervised representation learning，產(chǎn)生后來(lái)影響深遠(yuǎn)的BERT和GPT系列模型，反觀CV領(lǐng)域，ImageNet刷到飽和，似乎遇到了怎么也跨不過(guò)的屏障。就在CV領(lǐng)域停滯不前的時(shí)候，Kaiming He帶著MoCo橫空出世，橫掃了包括PASCAL VOC和COCO在內(nèi)的7大數(shù)據(jù)集，至此，CV拉開(kāi)了Self-Supervised研究新篇章。
近期工作
62-Exploring Simple Siamese Representation Learning
SimSiam：孿生網(wǎng)絡(luò)表征學(xué)習(xí)的頂級(jí)理論解釋
65-Masked Autoencoders Are Scalable Vision Learners
NLP和CV的雙子星，注入Mask的預(yù)訓(xùn)練模型BERT和MAE
時(shí)間線
1-Single Image Haze Removal Using Dark Channel Prior
kaiming he通過(guò)大量無(wú)霧圖片統(tǒng)計(jì)發(fā)現(xiàn)了dark channel prior—在無(wú)霧圖的局部區(qū)域中，3個(gè)通道的最小亮度值非常小接近于0(不包括天空區(qū)域)。
dark channel prior通過(guò)暗通道先驗(yàn)對(duì)haze imaging model進(jìn)行化簡(jiǎn)，近似計(jì)算得到粗糙的transmission，然后將haze imaging model和matting model聯(lián)系起來(lái)，巧妙的將圖像去霧問(wèn)題轉(zhuǎn)化為摳圖問(wèn)題，得到refined transmission，精彩！
何愷明經(jīng)典之作—2009 CVPR Best Paper | Dark Channel Prior
3-Guided Image Filtering
Guided image filtering是結(jié)合兩幅圖片信息的過(guò)程，一個(gè)filtering input image(表示為p)和一個(gè)guide image(表示為I)生成一個(gè)filtering output image(表示為q)。p決定了q的顏色,亮度,和色調(diào)，I決定了q的邊緣。對(duì)于圖像去霧來(lái)說(shuō)，transmission就是p，霧圖就是I，refined transmission就是q。
guided filter則通過(guò)公式轉(zhuǎn)換，和濾波聯(lián)系起來(lái)，提出新穎的guided filter，巧妙的避開(kāi)了linear system的計(jì)算過(guò)程，極大加快了transmission優(yōu)化的速度。
何愷明經(jīng)典之作—2009 CVPR Best Paper | Dark Channel Prior
37-Focal Loss for Dense Object Detection
構(gòu)建了一個(gè)One-Stage檢測(cè)器RetinaNet，同時(shí)提出Focal Loss來(lái)處理One-Stage的類別不均衡問(wèn)題，在目標(biāo)檢測(cè)任務(wù)上首次One-Stage檢測(cè)器的速度和精度都優(yōu)于Two-Stage檢測(cè)器。近些年的One-Stage檢測(cè)器(如FCOS、ATSS)，仍然以RetinaNet為基礎(chǔ)進(jìn)行改進(jìn)。
38-Mask R-CNN
在Faster R-CNN的基礎(chǔ)上，增加一個(gè)實(shí)例分割分支，并且將RoI Pooling替換成了RoI Align，使得實(shí)例分割精度大幅度提升。雖然最新的實(shí)例分割算法層出不窮，但是精度上依然難以超越Mask R-CNN。
62-Exploring Simple Siamese Representation Learning
SimSiam的理論解釋意味著帶stop-gradient的孿生網(wǎng)絡(luò)表征學(xué)習(xí)都可以用EM算法解釋。stop-gradient起到至關(guān)重要的作用，并且需要一個(gè)預(yù)測(cè)期望E的方法進(jìn)行輔助使用。但是SimSiam仍然無(wú)法解釋模型坍塌現(xiàn)象，SimSiam以及它的變體不坍塌現(xiàn)象仍然是一個(gè)經(jīng)驗(yàn)性的觀察，模型坍塌仍然需要后續(xù)的工作進(jìn)一步討論。
SimSiam：孿生網(wǎng)絡(luò)表征學(xué)習(xí)的頂級(jí)理論解釋
63-A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
指出時(shí)空的Self-Supervised采樣同一個(gè)視頻的positive pair時(shí)間跨度越長(zhǎng)效果越好，momentum encoder比優(yōu)化目標(biāo)重要，訓(xùn)練時(shí)間、backbone、數(shù)據(jù)增強(qiáng)和精選數(shù)據(jù)對(duì)于得到更好性能至關(guān)重要。
何愷明+Ross Girshick：深入探究無(wú)監(jiān)督時(shí)空表征學(xué)習(xí)
64-An Empirical Study of Training Self-Supervised Vision Transformers
MoCov1通過(guò)dictionary as a queue和momentum encoder和shuffle BN三個(gè)巧妙設(shè)計(jì)，使得能夠不斷增加K的數(shù)量，將Self-Supervised的威力發(fā)揮的淋漓盡致。MoCov2在MoCov1的基礎(chǔ)上，增加了SimCLR實(shí)驗(yàn)成功的tricks，然后反超SimCLR重新成為當(dāng)時(shí)的SOTA，F(xiàn)AIR和Google Research爭(zhēng)鋒相對(duì)之作，頗有華山論劍的意思。MoCov3通過(guò)實(shí)驗(yàn)探究洞察到了Self-Supervised+Transformer存在的問(wèn)題，并且使用簡(jiǎn)單的方法緩解了這個(gè)問(wèn)題，這給以后的研究者探索Self-Supervised+Transformer提供了很好的啟示。
65-Masked Autoencoders Are Scalable Vision Learners
MAE設(shè)計(jì)了一個(gè)encoder-decoder預(yù)訓(xùn)練框架，encoder只送入image token，decoder同時(shí)送入image token和mask token，對(duì)patch序列進(jìn)行重建，最后還原成圖片。相比于BEiT，省去了繁瑣的訓(xùn)練tokenizer的過(guò)程，同時(shí)對(duì)image token和mask token進(jìn)行解耦，特征提取和圖像重建進(jìn)行解耦，encoder只負(fù)責(zé)image token的特征提取，decoder專注于圖像重建，這種設(shè)計(jì)直接導(dǎo)致了訓(xùn)練速度大幅度提升，同時(shí)提升精度，真稱得上MAE文章中所說(shuō)的win-win scenario了。
NLP和CV的雙子星，注入Mask的預(yù)訓(xùn)練模型BERT和MAE
kaiming科研嗅覺(jué)頂級(jí)，每次都能精準(zhǔn)的踩在最關(guān)鍵的問(wèn)題上，提出的方法簡(jiǎn)潔明了，同時(shí)又蘊(yùn)含著深刻的思考，文章賞心悅目，實(shí)驗(yàn)詳盡扎實(shí)，工作質(zhì)量說(shuō)明一切。
相關(guān)閱讀
FAIR何愷明團(tuán)隊(duì)最新研究：定義ViT檢測(cè)遷移學(xué)習(xí)基線
【何愷明新作速讀】Masked Autoencoders Are Scalable Vision Learners
如何看待何愷明最新一作論文Masked Autoencoders Are Scalable Vision Learners？
何愷明團(tuán)隊(duì)最新力作RegNet：超越EfficientNet，GPU上提速5倍，這是網(wǎng)絡(luò)設(shè)計(jì)新范式 | CVPR 2020
為了方便讀者學(xué)習(xí)，我們建立了微信群，歡迎大家進(jìn)群討論交流。請(qǐng)先加我的微信后，邀請(qǐng)你進(jìn)群。無(wú)關(guān)人員，請(qǐng)繞道，謝謝合作！? ?
? ?? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?
覺(jué)得有用給個(gè)在看吧?