2020年人工智能領(lǐng)域突破性工作
DETR
DETR是首個(gè)將完整的Transformer架構(gòu)應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的工作，開辟了計(jì)算機(jī)視覺大規(guī)模使用Transformer的新紀(jì)元。另外，DETR將目標(biāo)檢測(cè)問題當(dāng)成集合預(yù)測(cè)問題，可以一次并行預(yù)測(cè)出所有目標(biāo)框，引領(lǐng)了NMS-Free新方向。
ViT
ViT更為巧妙的將輸入圖片看成是16x16的patches序列，直接使用Transformer Encoder來做patches序列的特征抽取，使得ViT可以作為一個(gè)標(biāo)準(zhǔn)的特征提取器，方便的應(yīng)用于計(jì)算機(jī)視覺下游任務(wù)(最近基于ViT的魔改少說幾百篇？？？)
BYOL
自從MoCo橫空出世以來，Self-Supervised領(lǐng)域再度火熱，但是BYOL之前的方法仍然遵循著正樣本對(duì)拉近，負(fù)樣本對(duì)排斥的原則。然而BYOL天馬行空的將負(fù)樣本排斥原則舍棄，只遵循正樣本對(duì)拉近原則，并且取得了非常好的效果。這是什么概念，這就是Self-Supervised的周伯通啊，左手和右手互博，不需要和別人實(shí)戰(zhàn)就能練成絕世神功。
NeRF
NeRF，只需要輸入少量靜態(tài)圖片，就能做到多視角的逼真3D效果。
看一下demo效果！
GPT-3
Money is all you need！OpenAI的GPT-3將訓(xùn)練的參數(shù)量堆到了1750億，數(shù)據(jù)集總量是之前發(fā)布的GPT-2的116倍，是迄今為止最大的訓(xùn)練模型(2021年1月被Switch Transformer刷新)。
AlphaFold2
蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)問題是結(jié)構(gòu)生物學(xué)一個(gè)里程碑式的問題，每兩年，人類會(huì)組織一場(chǎng)蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)大賽。CASP14屆Alphafold2血虐其他算法。
這個(gè)圖什么概念？
CASP用來衡量預(yù)測(cè)準(zhǔn)確性的主要指標(biāo)是 GDT，范圍為0-100。GDT可以近似地認(rèn)為是和實(shí)驗(yàn)結(jié)構(gòu)相比，成功預(yù)測(cè)在正確位置上的比例。70分就是達(dá)到了同源建模的精度，非正式的說，大約90 分可以和實(shí)驗(yàn)結(jié)果相競(jìng)爭(zhēng)！
這次AlphaFold2直接把總分干到了92.4，和實(shí)驗(yàn)的誤差在1.6，即使是在最難的沒有同源模板的蛋白質(zhì)上面，這個(gè)分?jǐn)?shù)也達(dá)到了了恐怖的87.0 。
最后
前4個(gè)工作對(duì)于后面Transformer、Self-Supervised和3D視覺領(lǐng)域有著深遠(yuǎn)的影響，會(huì)一定程度上指引NLP和CV領(lǐng)域的發(fā)展。后兩個(gè)工作可能屬于行業(yè)顛覆型的工作，經(jīng)久不衰。
Reference
[1] End-to-End Object Detection with Transformers
[2] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
[3] Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
[4] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[5] Language Models are Few-Shot Learners
[6] AlphaFold: a solution to a 50-year-old grand challenge in biology | DeepMind
往期精彩回顧
本站qq群851320808，加入微信群請(qǐng)掃碼：