英偉達(dá)3個(gè)月賣(mài)出800噸H100！老黃竟自曝萬(wàn)億GPU霸主「三無(wú)」策略
新智元報(bào)道
新智元報(bào)道
【新智元導(dǎo)讀】有分析公司算出來(lái)，才三個(gè)月英偉達(dá)就賣(mài)出了800多噸H100。然而市值已超萬(wàn)億的英偉達(dá)，竟是一個(gè)「無(wú)計(jì)劃、無(wú)匯報(bào)、無(wú)層級(jí)」的公司。
僅在今年第二季度，英偉達(dá)就已經(jīng)賣(mài)出了816噸H100！
假如這個(gè)速度不變，它有望在今年賣(mài)出3,266噸H100。并且，在接下來(lái)的每年里，英偉達(dá)都會(huì)賣(mài)出120萬(wàn)張H100。
現(xiàn)在，云服務(wù)供應(yīng)商的大規(guī)模H100集群容量即將耗盡，全球陷入GPU短缺，硅谷大佬們都急了——整體算來(lái)，全球公司需要約432000張H100。
最近同時(shí)大火的，還有黃仁勛管理英偉達(dá)的方法。
「沒(méi)有計(jì)劃、沒(méi)有匯報(bào)、沒(méi)有層級(jí)」，如此隨性，如此佛系，甚至可以說(shuō)，如此瘋狂。
就是這種管理辦法，讓英偉達(dá)市值超過(guò)1萬(wàn)億，在半導(dǎo)體公司中一時(shí)風(fēng)頭無(wú)兩。
半導(dǎo)體巨人
英偉達(dá)聲稱(chēng)，在2024財(cái)年第二季度，他們售出了價(jià)值103億美元的數(shù)據(jù)中心硬件。
價(jià)值103億美元是什么概念？
今天，市場(chǎng)研究公司Omdia給出了讓我們更容易理解的單位——816噸H100！
根據(jù)Omdia估計(jì)，第二季度英偉達(dá)的H100 GPU出貨量超過(guò)了816噸。
一個(gè)英偉達(dá)H100 GPU，再加上散熱器，平均重量超過(guò)了3公斤，因此，第二季度的H100發(fā)貨量，保守估計(jì)也有30萬(wàn)個(gè)。
Omdia的估算準(zhǔn)確嗎？
要知道，H100有三種不同的外形尺寸，重量也不盡相同。
H100 PCIe顯卡重達(dá)1.2千克，H100 SXM模組的重量尚不清楚，而帶散熱片的OAM模組重量可達(dá)2千克，它與H100 SXM的尺寸和TDP大致相同。
假設(shè)H100出貨量80%是模組，20%是顯卡，那么單個(gè)H100的平均重量應(yīng)為1.84千克左右。
所以，Omida的估算可以認(rèn)為大致準(zhǔn)確。當(dāng)然，實(shí)際重量可能少于816噸這個(gè)數(shù)字。
816噸是多重？
為了便于理解這個(gè)重量，我們可以拿以下這些東西來(lái)類(lèi)比——
4.5架波音747
11架航天飛機(jī)
181,818臺(tái)PlayStation 5
32,727只金毛
假如英偉達(dá)在未來(lái)幾個(gè)季度保持相同的GPU銷(xiāo)量，那么它有望在今年售出3,266噸H100。
假如這個(gè)速度保持不變，每年英偉達(dá)都會(huì)賣(mài)出120萬(wàn)個(gè)H100。
并且，還不止這些。
還有H800，以及上一代的A100、A800、A30。
這樣算的話(huà)，英偉達(dá)每季度實(shí)際銷(xiāo)售的GPU數(shù)量遠(yuǎn)遠(yuǎn)高于30萬(wàn)個(gè)，重量總計(jì)遠(yuǎn)超過(guò)816噸。
即便如此，仍然不能滿(mǎn)足全球的GPU荒——根據(jù)行業(yè)內(nèi)部消息，英偉達(dá)H100 2023年的產(chǎn)量，早已銷(xiāo)售一空，現(xiàn)在交錢(qián)訂購(gòu)，至少要到2024年中才能拿到貨。
現(xiàn)在，H100早已一卡難求。
甚至還有外媒爆料：英偉達(dá)要在2024年，將H100的產(chǎn)量從今年的50萬(wàn)張左右直接提高到150-200萬(wàn)張。
顯然，隨著英偉達(dá)芯片在生成式AI的熱潮中愈加緊俏，這個(gè)預(yù)測(cè)并不夸張。
黃仁勛「第一性原理」
與此同時(shí)，GPU的銷(xiāo)量暴漲，也讓英偉達(dá)成為了世界算力霸主，成功進(jìn)入萬(wàn)億美元俱樂(lè)部。
這背后離不開(kāi)領(lǐng)導(dǎo)人黃仁勛的「瘋狂式」的管理策略。
老黃表示，當(dāng)你創(chuàng)立一家公司時(shí)，很自然地從第一性原理開(kāi)始。
「就像我們正在建造一臺(tái)機(jī)器如何運(yùn)作一樣，什么是輸入，什么是輸出，處在什么條件下，行業(yè)標(biāo)準(zhǔn)又是什么.....」
用老黃的話(huà)來(lái)說(shuō)，英偉達(dá)的使命是，解決世界那些幾乎不可能的計(jì)算問(wèn)題。如果一個(gè)問(wèn)題可以由普通的電腦解決，英偉達(dá)就會(huì)不做。
為了實(shí)現(xiàn)這一使命，英偉達(dá)吸引很多很多出色的人才，聚集在一起。
同時(shí)還需要，老黃管理這些人才的頂級(jí)策略，具體包括：
直接管理40名下屬，沒(méi)有1:1會(huì)議
英偉達(dá)不需要「金字塔」式的管理，而是將權(quán)力下放給每一個(gè)人。
老黃信奉扁平化的組織最富有能力，以便信息能夠快速傳播。
其中，組織的第一層——公司高層，就必須要考慮更加周全。他從不向任何人高管提供職業(yè)建議，因?yàn)楣芾韴F(tuán)隊(duì)中沒(méi)有人來(lái)向他尋求職業(yè)建議。
「他們已經(jīng)成功了，他們做得很好」。
另外，老黃從不進(jìn)行1對(duì)1會(huì)議，所有事情都在小組討論中進(jìn)行。
「如果你有一個(gè)戰(zhàn)略方向，為什么只告訴一個(gè)人？應(yīng)該讓每個(gè)人都知道」。
每個(gè)人都能隨時(shí)了解所有情況
在公司內(nèi)部，從來(lái)都不會(huì)召開(kāi)副總裁會(huì)議、總監(jiān)會(huì)議。
老黃稱(chēng)，自己參加的會(huì)議里，有來(lái)自不同組織的人，剛剛畢業(yè)的大學(xué)生，任何人都可以參加并發(fā)表意見(jiàn)。
不做狀態(tài)報(bào)告，而是email「前五件事情」
在英偉達(dá)，每個(gè)人都不需要做狀態(tài)報(bào)告，因?yàn)槔宵S認(rèn)為這像是「元資訊」，太過(guò)精煉，基本上沒(méi)有有益的訊息。
相反，公司里的任何人都可以通過(guò)電子郵件向他發(fā)送自己的「前五件事情」。
你所學(xué)到的，你所觀察到的，你即將要做的，無(wú)論是什么事情，他每天早上都會(huì)閱讀100+郵件，去了解大家的TOP 5 things。
比如，你去了一家非常棒的餐廳、有了一個(gè)可愛(ài)的baby...，這才是真正重要的信息。
沒(méi)有正式的定期計(jì)劃
對(duì)于，如何去做規(guī)劃，讓公司最底層的想法展現(xiàn)出來(lái)、讓最好的工程師執(zhí)行。
老黃表示，對(duì)于我來(lái)說(shuō)，沒(méi)有5年計(jì)劃，也沒(méi)有1年計(jì)劃，會(huì)根據(jù)不斷變化的業(yè)務(wù)和市場(chǎng)條件進(jìn)行重新評(píng)估。
總結(jié)來(lái)說(shuō)，英偉達(dá)優(yōu)化組織結(jié)構(gòu)的目的是：（1）吸引優(yōu)秀人才；（2）保持盡可能小的團(tuán)隊(duì)規(guī)模；（3）使信息傳播盡可能迅速
就連英偉達(dá)深度學(xué)習(xí)研究員VP Bryan Catanzaro，直接現(xiàn)身證明，全部為真。
那么，在這樣的組織工作是一種什么樣的體驗(yàn)？
Bryan表示，在很多方面，這是一個(gè)非常穩(wěn)定的環(huán)境。許多資深員工已經(jīng)在英偉達(dá)工作了幾十年。這種風(fēng)格并不適合每一個(gè)人，但對(duì)很多人來(lái)說(shuō)卻很有效。這是一個(gè)充滿(mǎn)活力的環(huán)境。
與馬斯克不同的是，老黃很少對(duì)外講述自己管理公司的方法。
今年在臺(tái)大的演講中，老黃曾講述了定義了今天英偉達(dá)樣貌的3個(gè)故事。這當(dāng)中，離不開(kāi)他的決策和判斷，已經(jīng)思考。
最初，英偉達(dá)與SEGA簽約，為其打造游戲機(jī)。經(jīng)過(guò)一年的開(kāi)發(fā)過(guò)程，卻發(fā)現(xiàn)使用的技術(shù)架構(gòu)是錯(cuò)誤的。
但是，黃仁勛發(fā)現(xiàn)即便糾正過(guò)來(lái)，也無(wú)濟(jì)于事，因?yàn)檫@一產(chǎn)品創(chuàng)造與微軟的Widows系統(tǒng)并不兼容。
于是，他聯(lián)絡(luò)了SEGA執(zhí)行長(zhǎng)，解釋英偉達(dá)無(wú)法完成這個(gè)任務(wù)，并還得到了SEGA的幫助，所幸沒(méi)有破產(chǎn)。
第二件事，就是2007年英偉達(dá)宣布的CUDA GPU加速計(jì)算技術(shù)。
為了向全世界推廣CUDA技術(shù)，還專(zhuān)門(mén)創(chuàng)辦了GTC的會(huì)議。經(jīng)過(guò)多年努力，英偉達(dá)這項(xiàng)技術(shù)成為AI革命重要的推動(dòng)引擎。
第三件事，做出放棄手機(jī)市場(chǎng)的艱難決定，將重心放在顯卡上。
正如老黃所說(shuō)，「戰(zhàn)略性的撤退、犧牲、決定放棄什麼是成功的核心，非常關(guān)鍵的核心。」
一位X的工程師稱(chēng)，這一管理方式與馬斯克X公司的操作非常類(lèi)似。
還有網(wǎng)友戲稱(chēng)，老黃的這種管理方式，都可以在多模態(tài)智能體大模型體系中建模了。
如果老黃，能夠像馬斯克一樣出一本傳記，相信每個(gè)人都愿意去拜讀一下。
看看，英偉達(dá)的GPU如何取得成功，成為大廠的掘金鏟。
全球GPU缺口超40萬(wàn)張
H100的短缺，早就讓硅谷大佬們都慌了！
Sam Altman就曾自曝，GPU已經(jīng)告急，希望用ChatGPT的用戶(hù)能少一點(diǎn)。??
「GPU非常短缺，使用我們產(chǎn)品的人越少越好」
Altman表示，受GPU限制，OpenAI已經(jīng)推遲了多項(xiàng)短期計(jì)劃（微調(diào)、專(zhuān)用容量、32k上下文窗口、多模態(tài)）。
OpenAI聯(lián)合創(chuàng)始人兼職科學(xué)家Andrej Karpathy也透露過(guò)，現(xiàn)在誰(shuí)家得到了多少塊H100，都是硅谷的頂級(jí)八卦。
這張?jiān)谏鐓^(qū)廣為流傳的圖曾做出如下估算——
-GPT-4可能在大約10000-25000張A100上進(jìn)行了訓(xùn)練
-Meta大約21000 A100
-Tesla大約7000 A100
-Stability AI大約5000 A100
-Falcon-40B在384個(gè)A100上進(jìn)行了訓(xùn)練
– Inflection使用了3500和H100，來(lái)訓(xùn)練與GPT-3.5能力相當(dāng)?shù)哪Ｐ?/span>
現(xiàn)在不光是科技公司排著隊(duì)購(gòu)買(mǎi)H100，連沙特阿拉伯和阿聯(lián)酋都出手了，一下就買(mǎi)了幾千個(gè)H100 GPU。
馬斯克直言，現(xiàn)在想買(mǎi)到H100已經(jīng)難如登天。
根據(jù)馬斯克的說(shuō)法，GPT-5可能需要30000-50000個(gè)H100。此前，摩根士丹利曾表示GPT-5使用25000個(gè)GPU，自2月以來(lái)已經(jīng)開(kāi)始訓(xùn)練，不過(guò)Sam Altman之后澄清了GPT-5尚未進(jìn)行訓(xùn)。
而一篇名為「Nvidia H100 GPU：供需」文章曾推測(cè)，小型和大型云提供商的大規(guī)模H100集群容量即將耗盡，H100的需求趨勢(shì)至少會(huì)持續(xù)到2024年底。
微軟的年報(bào)中也向投資者強(qiáng)調(diào)，GPU是其云業(yè)務(wù)快速增長(zhǎng)的「關(guān)鍵原材料」。如果無(wú)法獲得所需的基礎(chǔ)設(shè)施，可能會(huì)出現(xiàn)數(shù)據(jù)中心中斷的風(fēng)險(xiǎn)因素。
據(jù)推測(cè)，OpenAI可能需要50000個(gè)H100，而Inflection需要22,000個(gè)，Meta可能需要 25k，而大型云服務(wù)商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。
Lambda和CoreWeave以及其他私有云可能總共需要100k。Anthropic、Helsing、Mistral和Character可能各需要10k。
整體算來(lái)，全球公司需要約432000張H100。按每個(gè)H100約35k美元來(lái)計(jì)算，GPU總需求耗資150億美元。
這其中，還不包括國(guó)內(nèi)大量需要H800的互聯(lián)網(wǎng)公司。
而且，H100不光不愁賣(mài)，利潤(rùn)率還高得嚇人。
業(yè)內(nèi)專(zhuān)家曾稱(chēng)，英偉達(dá)H100的利潤(rùn)率接近1000%。
