【行業(yè)資訊】2021年將是“人工智能硬件年”
正文共：5152字-8圖
預(yù)計(jì)閱讀時間：13分鐘
未來，誰將改變機(jī)器學(xué)習(xí)硬件的格局。
在本文中，我將討論專為機(jī)器學(xué)習(xí) / 人工智能應(yīng)用開發(fā)的硬件，以及該領(lǐng)域的機(jī)遇。并簡要介紹英偉達(dá)是如何在機(jī)器學(xué)習(xí)硬件領(lǐng)域?qū)崿F(xiàn)近乎壟斷的地位，以及為什么幾乎沒有人能成功挑戰(zhàn)它。
在過去的 10 年中，專用于機(jī)器學(xué)習(xí)應(yīng)用的硬件研究迅猛發(fā)展，硬件與機(jī)器學(xué)習(xí)棧的每個部分都有關(guān)系。這種硬件可加速訓(xùn)練和推理，減少延遲時間，降低功耗，并降低這些設(shè)備的零售成本。當(dāng)前通用的機(jī)器學(xué)習(xí)硬件解決方案是英偉達(dá) GPU，這使得英偉達(dá)在市場上占據(jù)主導(dǎo)地位，并使其估值超越英特爾。
隨著前景廣闊的研究不斷涌現(xiàn)，英偉達(dá)繼續(xù)通過出售 GPU 和它的專有 CUDA 工具箱來主導(dǎo)這個領(lǐng)域。不過，我認(rèn)為有四個因素將挑戰(zhàn)英偉達(dá)的統(tǒng)治地位，并且最快今年，也肯定會在 2~3 年內(nèi)改變機(jī)器學(xué)習(xí)硬件的格局。
這個領(lǐng)域的學(xué)術(shù)研究正在成為主流。 摩爾定律已死。隨著它的消亡，“技術(shù)和市場力量正在將計(jì)算推向相反的方向，使得計(jì)算機(jī)處理器不再是通用的，而是更加專業(yè)化的?！保ǔ鎏帲?/span> 投資人和創(chuàng)始人都認(rèn)識到，人工智能不僅能開辟新的領(lǐng)域，而且能增加他們的預(yù)算。 人工智能產(chǎn)生的碳排放量過高，而且越來越高。我們需要讓計(jì)算更加節(jié)能。 背景
下面是典型的機(jī)器學(xué)習(xí)管道的樣子：
對于大多數(shù)數(shù)據(jù)科學(xué)工作流而言，在訓(xùn)練和部署大型模型之前，通用芯片，如 CPU，就已經(jīng)足夠了。GPU 在“深度學(xué)習(xí)”（涉及視覺和自然語言處理等任務(wù)的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)）中幾乎總是必不可少的。為深度學(xué)習(xí)提供 GPU 工作站的 Lambda Labs 公司估計(jì)，包括英偉達(dá)的頂級 GPU 集群在內(nèi)，訓(xùn)練 GPT-3 的費(fèi)用大約為 460 萬美元。
使用 GPU 的主要優(yōu)點(diǎn)是，與傳統(tǒng) CPU 相比， GPU 可以并行地執(zhí)行計(jì)算，數(shù)據(jù)吞吐量更高。計(jì)算過程中，機(jī)器學(xué)習(xí)的核心計(jì)算部分是矩陣乘法，并行運(yùn)行時能大大提高運(yùn)算速度。專有的英偉達(dá) CUDA 提供了 API 和工具，以便開發(fā)者可以利用這種并行化。像 TensorFlow 和 PyTorch 這樣的流行庫將其抽象出來，其中一行代碼會自動檢測 GPU，然后利用 CUDA 后端。若要設(shè)計(jì)一種新的算法或庫，需要利用并行計(jì)算的優(yōu)勢，CUDA 提供的工具會使這一工作更加簡單。
上世紀(jì) 90 年代初，英偉達(dá)作為一家視頻游戲公司起家，希望能提供能快速繪制 3D 圖像的圖像芯片。它在這一業(yè)務(wù)上取得了成功，在與另一家顯卡制造商 AMD 的不斷交鋒中，始終如一地制造出一些最強(qiáng)大的 GPU。巧合的是，同樣的圖形硬件竟然成了深度學(xué)習(xí)騰飛不可或缺的因素。CUDA 讓英偉達(dá)比其他 GPU 更有優(yōu)勢。
2006 年，英偉達(dá)發(fā)布了第一個 CUDA 工具包，它提供了一個 API，可以讓使用 GPU 變得非常簡單。3 年后，2009 年，斯坦福大學(xué)人工智能教授吳恩達(dá)及其合作者發(fā)表了一篇題為《使用圖形處理器的大規(guī)模無監(jiān)督式深度學(xué)習(xí)》（Large-scale Deep Unsupervised Learning using Graphics Processors）的論文，指出如果 GPU 用于訓(xùn)練，大規(guī)模的深度學(xué)習(xí)就有可能實(shí)現(xiàn)。
一年后，吳恩達(dá)和斯坦福大學(xué)的另一位教授，Google X 的共同創(chuàng)始人，Sebastian Thrun，向拉里·佩奇提出了在谷歌成立深度學(xué)習(xí)研究團(tuán)隊(duì)的想法，該團(tuán)隊(duì)后來成為 Google Brain。伴隨著 Google Brain 的崛起和“Imagenet 時刻”的到來，英偉達(dá)的 GPU 已經(jīng)成為人工智能 / 機(jī)器學(xué)習(xí)行業(yè)事實(shí)上的計(jì)算標(biāo)準(zhǔn)。如需更多信息，請參閱這篇文章《新的英特爾：英偉達(dá)如何從驅(qū)動視頻游戲到革新人工智能》（The New Intel: How Nvidia Went From Powering Video Games To Revolutionizing Artificial Intelligence）。
概述：現(xiàn)狀
英偉達(dá)憑借其 GPU 在深度學(xué)習(xí)硬件領(lǐng)域占據(jù)主導(dǎo)地位，這在很大程度上要?dú)w功于 CUDA。據(jù) 福布斯報(bào)道，“2019 年 5 月，前四大云計(jì)算供應(yīng)商在 97.4% 的基礎(chǔ)設(shè)施即服務(wù)（IaaS）計(jì)算實(shí)例類型中部署了英偉達(dá) GPU，并配備了專用加速器”。面對 競爭，它也 沒有坐以待斃。 谷歌早在 2015 年就開發(fā)了專門為神經(jīng)網(wǎng)絡(luò)開發(fā)的人工智能加速器芯片 TPU。在其作為特定領(lǐng)域加速器的狹義用例中，TPU 比 GPU 更快，也更便宜，但在谷歌的 GCP 生態(tài)系統(tǒng)中，TPU 被隔離起來，僅有 TensorFlow 和 PyTorch 支持（其他庫需要自己編寫 TPU 編譯器）。 AWS 正在對自己的芯片下賭注，尤其是機(jī)器學(xué)習(xí)。到目前為止，AWS Inferentia 芯片 似乎是最成功的。這在很大程度上取決于開發(fā)者從 CUDA 切換到亞馬遜 Inferentia 和其他芯片的工具包的難易程度。 2019 年 12 月，英特爾以 20 億美元的價格收購了 Habana Labs，這是一家以色列公司，為訓(xùn)練和推理工作負(fù)載制造芯片和硬件加速器。英特爾的投資似乎得到了回報(bào)，上個月，AWS 宣布 將提供運(yùn)行 Habana 芯片的新 EC2 實(shí)例，“與當(dāng)前基于 GPU 的 EC2 實(shí)例相比，為機(jī)器學(xué)習(xí)工作負(fù)載提供高達(dá) 40% 的價格性能”。英特爾還推出了新的 Xeon CPU 系列，它認(rèn)為可與英偉達(dá)的 GPU 競爭。 Xilinx 是一家發(fā)明 FPGA 的上市公司，最近又涉足人工智能加速器芯片領(lǐng)域，2020 年 10 月被 AMD 收購。 對人工智能計(jì)算能力的需求正在加速。 變化與機(jī)遇
正如我在上面提到的，我的設(shè)想是，到 2021 年及以后，英偉達(dá)的主導(dǎo)地位將會受到越來越多的挑戰(zhàn)和侵蝕。造成這種情況的原因有四個：
1. 學(xué)術(shù)研究變成真正的產(chǎn)品
學(xué)術(shù)界和工業(yè)界研究人員創(chuàng)立的一些初創(chuàng)公司已經(jīng)開始研究機(jī)器學(xué)習(xí)專用硬件，而且還有更多的開發(fā)空間。在這個領(lǐng)域發(fā)表的論文并不只是提出理論上的保證，它還展示了真正的硬件原型，這些原型實(shí)現(xiàn)了比商業(yè)可用選項(xiàng)更好的指標(biāo)。（實(shí)例 1、實(shí)例 2 和 實(shí)例 3）
芯片和硬件加速器的種類很多，每一種都有其蓬勃發(fā)展的研究社區(qū)。簡單地列舉一些：
專用集成電路（ASIC）。谷歌 TPU 和 AWS Inferentia 都是 ASIC 的例子。ASIC 產(chǎn)品的研發(fā)和生產(chǎn)成本可能高達(dá) 5000 萬美元，但是復(fù)制產(chǎn)品的邊際成本通常很低。ASIC 可以被設(shè)計(jì)成低功耗的，而且不會對性能有太大的影響。 現(xiàn)場可編程邏輯門陣列（FPGA）。FPGA 對于高頻交易者來說已稀松平常，但在機(jī)器學(xué)習(xí)方面的例子包括微軟的 Brainwave 和英特爾的 Arria。單個 FPGA 的生產(chǎn)成本較低，但多個 FPGA 的 生產(chǎn)邊際成本要高于 ASIC。 神經(jīng)形態(tài)計(jì)算。該領(lǐng)域試圖對人腦的生物結(jié)構(gòu)進(jìn)行建模，并將其轉(zhuǎn)換成硬件。盡管神經(jīng)形態(tài)學(xué)的思想可以追溯到 20 世紀(jì) 80 年代，但該領(lǐng)域仍處于起步階段。在《自然》上有一篇很好的 綜述性論文。 更多內(nèi)容請參閱此項(xiàng)調(diào)查報(bào)告《機(jī)器學(xué)習(xí)加速芯片綜述》（Survey of Machine Learning Accelerators），并關(guān)注 ISCAS。使用上述研究結(jié)果的一些有前途的初創(chuàng)公司。 Blaize 于 2019 年 宣稱 已經(jīng)開發(fā)出一種完全可編程的低功耗處理器，可實(shí)現(xiàn) 10 倍的低延遲，并且“系統(tǒng)效率最高可提高 60%”。 SambaNova Systems 是由斯坦福大學(xué)教授和甲骨文前高管創(chuàng)立的初創(chuàng)公司，由谷歌風(fēng)投和英特爾資本出資組建。它 剛剛宣布 了一項(xiàng)新產(chǎn)品，該產(chǎn)品是一個“完整、集成的軟件和硬件系統(tǒng)平臺，可以對從算法到芯片的數(shù)據(jù)流進(jìn)行優(yōu)化”。 Graphcore 是一家英國初創(chuàng)公司，由紅杉、微軟、寶馬和 DeepMinds 創(chuàng)始人領(lǐng)投。 2. 摩爾定律已死，專用硬件是未來的趨勢
摩爾定律預(yù)測，集成電路上的晶體管數(shù)量每兩年就會增加一倍。自 20 世紀(jì) 70 年代以來，這在經(jīng)驗(yàn)上一直是正確的，并且是我們從那時起所看到的技術(shù)進(jìn)步的代名詞：個人計(jì)算革命、傳感器和攝像頭的改進(jìn)、移動設(shè)備的興起，以及為人工智能提供充足資源的崛起，凡是你能想到的一切。唯一的問題是，摩爾定律即將結(jié)束，如果它還沒有結(jié)束的話?！翱s小芯片的難度越來越大，這已經(jīng)不是什么秘密了，而且這樣做的好處也今非昔比了。去年，英偉達(dá)的創(chuàng)始人黃仁勛直言不諱地認(rèn)為，‘摩爾定律已不再可能了’?！薄督?jīng)濟(jì)學(xué)人》（The Economist）寫道。
麻省理工學(xué)院經(jīng)濟(jì)學(xué)家 Neil Thompson 在《麻省理工科技評論》（MIT Technology Review）上解釋說：“軟件和專業(yè)架構(gòu)方面的進(jìn)步現(xiàn)在將開始有選擇地針對特定的問題和商業(yè)機(jī)會，對那些有充足資金和資源的人有利，而不是像摩爾定律那樣‘水漲船高’，通過提供速度更快、成本更低的芯片來普及。”一些人，包括 Thomspon 在內(nèi)的，都 認(rèn)為，“這是一個消極的發(fā)展，因?yàn)橛?jì)算硬件將開始分裂為“‘快車道’應(yīng)用和‘慢車道’應(yīng)用程序，前者使用功能強(qiáng)大的定制芯片，而后者則被卡在使用通用芯片上，而且其進(jìn)展緩慢?！?/span>
對于這個問題，分布式計(jì)算常常是一種解決方案：讓我們使用功能更少、成本更低的資源，但要使用大量的資源。但是，就連這種方案也越來越昂貴（更別提分布式梯度下降算法的復(fù)雜性了）。
那么，接下來會發(fā)生什么呢？2018 年，CMU 的研究人員在《自然》上發(fā)表了一篇論文，題為《摩爾定律末期的科學(xué)研究政策》（Science and research policy at the end of Moore’s law），該論文指出，私營部門將重點(diǎn)放在短期盈利上，這使得摩爾定律很難找到通用的繼承者。他們呼吁公私合作，共同創(chuàng)造計(jì)算硬件的未來。
雖然我并不反對公私合作（給予他們更多的權(quán)利），但我認(rèn)為未來的計(jì)算硬件將是專用芯片的集合，當(dāng)它們協(xié)同工作時，它們比現(xiàn)在的 CPU 更能勝任通用任務(wù)。我相信 蘋果向自己的芯片過渡 是朝著這個方向邁出的一步，這證明了軟硬件集成系統(tǒng)將優(yōu)于傳統(tǒng)芯片。特斯拉也在自動駕駛中采用了 自己的硬件。我們需要的是大量的新玩家涌入硬件生態(tài)系統(tǒng)，這樣專業(yè)芯片的好處就可以實(shí)現(xiàn)大眾化，并分布在昂貴的筆記本電腦、云服務(wù)器和汽車之外。（我敢說……是時候打造了嗎？）
3. 創(chuàng)始人和投資者擔(dān)心成本上漲
Andreessen Horowitz 的 Martin Casado 和 Matt Bornstein 在去年年初發(fā)表了一篇題為《人工智能的新業(yè)務(wù)（及其與傳統(tǒng)軟件的區(qū)別》（The New Business of AI (and How It’s Different From Traditional Software)）的文章，他們認(rèn)為人工智能的業(yè)務(wù)與傳統(tǒng)軟件是不同的。說到底，一切都與利潤有關(guān)?！霸朴?jì)算基礎(chǔ)設(shè)施對人工智能公司來說是一個巨大的成本，有時甚至是隱性成本”。
正如我所提到的那樣，訓(xùn)練人工智能模型可能需要花費(fèi)數(shù)千美元（如果你是 OpenAI，你就得花數(shù)百萬美元），但成本并不止于這些。人工智能系統(tǒng)必須得到持續(xù)監(jiān)控和改進(jìn)。如果你的模型是“離線”訓(xùn)練的，那么它很容易出現(xiàn)概念漂移，即現(xiàn)實(shí)世界中的數(shù)據(jù)分布隨著時間的推移與你訓(xùn)練的數(shù)據(jù)發(fā)生變化。這種情況可能是自然發(fā)生的，也可能是對抗性的，比如當(dāng)用戶試圖欺騙信用風(fēng)險(xiǎn)算法時。出現(xiàn)這種情況時，就必須對模型進(jìn)行再訓(xùn)練。
對于降低概念漂移和創(chuàng)建與現(xiàn)有模型具有相同性能保證的更小的模型有一些積極的研究，但這是另一篇文章的主題。同時，該行業(yè)也正在推進(jìn)更大的模型和更大的計(jì)算支出。更便宜、更專業(yè)的人工智能芯片無疑會降低這些成本。
4. 訓(xùn)練大型模型有助于氣候變化
由馬薩諸塞大學(xué)阿默斯特分校進(jìn)行的 一項(xiàng)研究 發(fā)現(xiàn)，訓(xùn)練一個現(xiàn)成的自然語言處理模型所產(chǎn)生的碳排放量相當(dāng)于從舊金山飛往紐約的一次航班。在三大云計(jì)算供應(yīng)商中，只有谷歌的數(shù)據(jù)中心超過 50% 的能源來自可再生能源。
但我認(rèn)為，我不必列出我們?yōu)槭裁匆獪p少人工智能的碳排放。我想說的是，現(xiàn)有的芯片耗電量過大，而且研究表明，其他類型的硬件加速器，如 FPGA 和超低能耗芯片（如谷歌 TPU Edge），對于機(jī)器學(xué)習(xí)和其他任務(wù)來說，可以更加節(jié)能。
即使是地理也會影響到人工智能的碳排放。斯坦福大學(xué)的研究人員估計(jì)，“在主要依賴頁巖油的愛沙尼亞舉行一次會議，其產(chǎn)生的碳排放量是在魁北克舉行的會議的 30 倍，而魁北克主要依靠水力發(fā)電?！?/span>
已露端倪
我已經(jīng)提到了人工智能的硬件，但是人工智能的硬件怎么樣？谷歌最近 申請了一項(xiàng)專利，該專利是關(guān)于一種利用強(qiáng)化學(xué)習(xí)來確定跨多個硬件設(shè)備的機(jī)器學(xué)習(xí)模型操作的位置的方法。這項(xiàng)專利背后的研究人員之一是 Azalea Mirhoseini，她在 Google Brain 負(fù)責(zé)機(jī)器學(xué)習(xí)硬件 / 系統(tǒng)的登月計(jì)劃。
來源 | AI前線
版權(quán)聲明：本號內(nèi)容部分來自互聯(lián)網(wǎng)，轉(zhuǎn)載請注明原文鏈接和作者，如有侵權(quán)或出處有誤請和我們聯(lián)系。