PyTorch 殺瘋了
↓↓↓點(diǎn)擊關(guān)注，回復(fù)資料，10個(gè)G的驚喜
在2021年的各大頂會中，使用PyTorch的論文數(shù)量已經(jīng)是使用TensorFlow的至少3倍以上，而這一差距還在持續(xù)擴(kuò)大。
2018 年底，谷歌推出了全新的JAX框架，其受歡迎程度也一直在穩(wěn)步提升。很多研究者對其寄予厚望，希望它可以取代 TensorFlow 等眾多深度學(xué)習(xí)框架。
不過，PyTorch 和 TensorFlow仍是ML框架領(lǐng)域的兩大實(shí)力玩家，其他新生框架的力量暫時(shí)還無法匹敵。而PyTorch 和 TensorFlow之間則是此消彼長的關(guān)系，力量對比也在悄悄發(fā)生著變化。
2019年10月，康奈爾大學(xué)本科生、曾在PyTorch 團(tuán)隊(duì)實(shí)習(xí)的Horace He曾對PyTorch 和 TensorFlow在學(xué)界的使用情況進(jìn)行了數(shù)據(jù)統(tǒng)計(jì)。結(jié)果顯示，研究者已經(jīng)大批涌向了 PyTorch，不過當(dāng)時(shí)看來，業(yè)界的首選仍然是 TensorFlow。
如下圖所示，從2019年中期開始，在統(tǒng)計(jì)的各大頂會中，PyTorch從使用率指標(biāo)上就已完成了對TensorFlow的反超。
數(shù)據(jù)收集時(shí)間：2019年10月。當(dāng)時(shí)的開發(fā)者社區(qū)曾熱議：未來，誰能在 ML 框架之爭中迎來「高光時(shí)刻」？兩年后，Horace He再次給出了更新后的統(tǒng)計(jì)結(jié)果。
截止目前，EMNLP、ACL、ICLR三家頂會的PyTorch的占比已經(jīng)超過80%，這一占比數(shù)字在其他會議中也都保持在70%之上。短短兩年間，TensorFlow的生存空間又大幅縮小。
以CVPR為例，在CVPR 2018之前，TensorFlow的使用率還高于PyTorch，而在下一年，局勢立即逆轉(zhuǎn)。
CVPR 2019的PyTorch使用率為22.72%（294篇），TensorFlow的使用率變?yōu)?1.44%（148篇）；到了CVPR 2020，這兩個(gè)數(shù)字分別變成了28.49%（418篇）和7.7%（113篇）。
TensorFlow 在學(xué)界還有未來嗎？
在Hackrnews社區(qū)，這一話題引發(fā)了開發(fā)者的熱議：
「在學(xué)術(shù)出版中，能夠?qū)⒛愕墓ぷ髋c SOTA 進(jìn)行比較是非常關(guān)鍵的。如果你所在地區(qū)的其他人都使用某個(gè)框架，那么你也應(yīng)該這樣做。過去幾年，Pytorch是我關(guān)注最多的框架了?！?br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">
「但Tensorflow 的一個(gè)亮點(diǎn)是靜態(tài)圖表。隨著模型變得更加密集，并且需要不同的部分并行執(zhí)行，我們在 PyTorch 的運(yùn)行模型中看到了一些挑戰(zhàn)?！?br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">
還有人說，Tensorflow的式微是因?yàn)槌霈F(xiàn)了策略上的失誤。
「我認(rèn)為 Tensorflow 在學(xué)術(shù)界做出了一個(gè)糟糕的舉動(dòng)，因?yàn)樗谠缙诎姹局惺褂闷饋矸浅＠щy。當(dāng)然，它的性能總是比 PyTorch 好，但當(dāng)你是一個(gè)工作負(fù)擔(dān)很重的博士生時(shí)，你就不太關(guān)心你的代碼是否高效，而更關(guān)心你的代碼是否能work。有人說 PyTorch 的調(diào)試相對輕松，所以那些早期的模型用了PyTorch發(fā)表，后來很多人也就來到了PyTorch。」
評論
圖片
表情