僅在今年第二季度，英偉達就已經(jīng)賣出了816噸H100！

假如這個速度不變，它有望在今年賣出3,266噸H100。并且，在接下來的每年里，英偉達都會賣出120萬張H100。

現(xiàn)在，云服務(wù)供應(yīng)商的大規(guī)模H100集群容量即將耗盡，全球陷入GPU短缺，硅谷大佬們都急了——整體算來，全球公司需要約432000張H100。

最近同時大火的，還有黃仁勛管理英偉達的方法。

「沒有計劃、沒有匯報、沒有層級」，如此隨性，如此佛系，甚至可以說，如此瘋狂。

就是這種管理辦法，讓英偉達市值超過1萬億，在半導(dǎo)體公司中一時風(fēng)頭無兩。

半導(dǎo)體巨人

英偉達聲稱，在2024財年第二季度，他們售出了價值103億美元的數(shù)據(jù)中心硬件。

價值103億美元是什么概念？

今天，市場研究公司Omdia給出了讓我們更容易理解的單位——816噸H100！

根據(jù)Omdia估計，第二季度英偉達的H100 GPU出貨量超過了816噸。

一個英偉達H100 GPU，再加上散熱器，平均重量超過了3公斤，因此，第二季度的H100發(fā)貨量，保守估計也有30萬個。

Omdia的估算準(zhǔn)確嗎？

要知道，H100有三種不同的外形尺寸，重量也不盡相同。

H100 PCIe顯卡重達1.2千克，H100 SXM模組的重量尚不清楚，而帶散熱片的OAM模組重量可達2千克，它與H100 SXM的尺寸和TDP大致相同。

假設(shè)H100出貨量80%是模組，20%是顯卡，那么單個H100的平均重量應(yīng)為1.84千克左右。

所以，Omida的估算可以認(rèn)為大致準(zhǔn)確。當(dāng)然，實際重量可能少于816噸這個數(shù)字。

816噸是多重？

為了便于理解這個重量，我們可以拿以下這些東西來類比——

4.5架波音747

11架航天飛機

181,818臺PlayStation 5

32,727只金毛

假如英偉達在未來幾個季度保持相同的GPU銷量，那么它有望在今年售出3,266噸H100。

假如這個速度保持不變，每年英偉達都會賣出120萬個H100。

并且，還不止這些。

還有H800，以及上一代的A100、A800、A30。

這樣算的話，英偉達每季度實際銷售的GPU數(shù)量遠遠高于30萬個，重量總計遠超過816噸。

即便如此，仍然不能滿足全球的GPU荒——根據(jù)行業(yè)內(nèi)部消息，英偉達H100 2023年的產(chǎn)量，早已銷售一空，現(xiàn)在交錢訂購，至少要到2024年中才能拿到貨。

現(xiàn)在，H100早已一卡難求。

甚至還有外媒爆料：英偉達要在2024年，將H100的產(chǎn)量從今年的50萬張左右直接提高到150-200萬張。

顯然，隨著英偉達芯片在生成式AI的熱潮中愈加緊俏，這個預(yù)測并不夸張。

黃仁勛「第一性原理」

與此同時，GPU的銷量暴漲，也讓英偉達成為了世界算力霸主，成功進入萬億美元俱樂部。

這背后離不開領(lǐng)導(dǎo)人黃仁勛的「瘋狂式」的管理策略。

老黃表示，當(dāng)你創(chuàng)立一家公司時，很自然地從第一性原理開始。

「就像我們正在建造一臺機器如何運作一樣，什么是輸入，什么是輸出，處在什么條件下，行業(yè)標(biāo)準(zhǔn)又是什么.....」

用老黃的話來說，英偉達的使命是，解決世界那些幾乎不可能的計算問題。如果一個問題可以由普通的電腦解決，英偉達就會不做。

為了實現(xiàn)這一使命，英偉達吸引很多很多出色的人才，聚集在一起。

同時還需要，老黃管理這些人才的頂級策略，具體包括：

直接管理40名下屬，沒有1:1會議

英偉達不需要「金字塔」式的管理，而是將權(quán)力下放給每一個人。

老黃信奉扁平化的組織最富有能力，以便信息能夠快速傳播。

其中，組織的第一層——公司高層，就必須要考慮更加周全。他從不向任何人高管提供職業(yè)建議，因為管理團隊中沒有人來向他尋求職業(yè)建議。

「他們已經(jīng)成功了，他們做得很好」。

另外，老黃從不進行1對1會議，所有事情都在小組討論中進行。

「如果你有一個戰(zhàn)略方向，為什么只告訴一個人？應(yīng)該讓每個人都知道」。

每個人都能隨時了解所有情況

在公司內(nèi)部，從來都不會召開副總裁會議、總監(jiān)會議。

老黃稱，自己參加的會議里，有來自不同組織的人，剛剛畢業(yè)的大學(xué)生，任何人都可以參加并發(fā)表意見。

不做狀態(tài)報告，而是email「前五件事情」

在英偉達，每個人都不需要做狀態(tài)報告，因為老黃認(rèn)為這像是「元資訊」，太過精煉，基本上沒有有益的訊息。

相反，公司里的任何人都可以通過電子郵件向他發(fā)送自己的「前五件事情」。

你所學(xué)到的，你所觀察到的，你即將要做的，無論是什么事情，他每天早上都會閱讀100+郵件，去了解大家的TOP 5 things。

比如，你去了一家非常棒的餐廳、有了一個可愛的baby...，這才是真正重要的信息。

沒有正式的定期計劃

對于，如何去做規(guī)劃，讓公司最底層的想法展現(xiàn)出來、讓最好的工程師執(zhí)行。

老黃表示，對于我來說，沒有5年計劃，也沒有1年計劃，會根據(jù)不斷變化的業(yè)務(wù)和市場條件進行重新評估。

總結(jié)來說，英偉達優(yōu)化組織結(jié)構(gòu)的目的是：（1）吸引優(yōu)秀人才；（2）保持盡可能小的團隊規(guī)模；（3）使信息傳播盡可能迅速

就連英偉達深度學(xué)習(xí)研究員VP Bryan Catanzaro，直接現(xiàn)身證明，全部為真。

那么，在這樣的組織工作是一種什么樣的體驗？

Bryan表示，在很多方面，這是一個非常穩(wěn)定的環(huán)境。許多資深員工已經(jīng)在英偉達工作了幾十年。這種風(fēng)格并不適合每一個人，但對很多人來說卻很有效。這是一個充滿活力的環(huán)境。

與馬斯克不同的是，老黃很少對外講述自己管理公司的方法。

今年在臺大的演講中，老黃曾講述了定義了今天英偉達樣貌的3個故事。這當(dāng)中，離不開他的決策和判斷，已經(jīng)思考。

最初，英偉達與SEGA簽約，為其打造游戲機。經(jīng)過一年的開發(fā)過程，卻發(fā)現(xiàn)使用的技術(shù)架構(gòu)是錯誤的。

但是，黃仁勛發(fā)現(xiàn)即便糾正過來，也無濟于事，因為這一產(chǎn)品創(chuàng)造與微軟的Widows系統(tǒng)并不兼容。

于是，他聯(lián)絡(luò)了SEGA執(zhí)行長，解釋英偉達無法完成這個任務(wù)，并還得到了SEGA的幫助，所幸沒有破產(chǎn)。

第二件事，就是2007年英偉達宣布的CUDA GPU加速計算技術(shù)。

為了向全世界推廣CUDA技術(shù)，還專門創(chuàng)辦了GTC的會議。經(jīng)過多年努力，英偉達這項技術(shù)成為AI革命重要的推動引擎。

第三件事，做出放棄手機市場的艱難決定，將重心放在顯卡上。

正如老黃所說，「戰(zhàn)略性的撤退、犧牲、決定放棄什麼是成功的核心，非常關(guān)鍵的核心。」

一位X的工程師稱，這一管理方式與馬斯克X公司的操作非常類似。

還有網(wǎng)友戲稱，老黃的這種管理方式，都可以在多模態(tài)智能體大模型體系中建模了。

如果老黃，能夠像馬斯克一樣出一本傳記，相信每個人都愿意去拜讀一下。

看看，英偉達的GPU如何取得成功，成為大廠的掘金鏟。

全球GPU缺口超40萬張

H100的短缺，早就讓硅谷大佬們都慌了！

Sam Altman就曾自曝，GPU已經(jīng)告急，希望用ChatGPT的用戶能少一點。??

「GPU非常短缺，使用我們產(chǎn)品的人越少越好」

Altman表示，受GPU限制，OpenAI已經(jīng)推遲了多項短期計劃（微調(diào)、專用容量、32k上下文窗口、多模態(tài)）。

OpenAI聯(lián)合創(chuàng)始人兼職科學(xué)家Andrej Karpathy也透露過，現(xiàn)在誰家得到了多少塊H100，都是硅谷的頂級八卦。

這張在社區(qū)廣為流傳的圖曾做出如下估算——

-GPT-4可能在大約10000-25000張A100上進行了訓(xùn)練

-Meta大約21000 A100

-Tesla大約7000 A100

-Stability AI大約5000 A100

-Falcon-40B在384個A100上進行了訓(xùn)練

– Inflection使用了3500和H100，來訓(xùn)練與GPT-3.5能力相當(dāng)?shù)哪Ｐ?/span>

現(xiàn)在不光是科技公司排著隊購買H100，連沙特阿拉伯和阿聯(lián)酋都出手了，一下就買了幾千個H100 GPU。

馬斯克直言，現(xiàn)在想買到H100已經(jīng)難如登天。

根據(jù)馬斯克的說法，GPT-5可能需要30000-50000個H100。此前，摩根士丹利曾表示GPT-5使用25000個GPU，自2月以來已經(jīng)開始訓(xùn)練，不過Sam Altman之后澄清了GPT-5尚未進行訓(xùn)。

而一篇名為「Nvidia H100 GPU：供需」文章曾推測，小型和大型云提供商的大規(guī)模H100集群容量即將耗盡，H100的需求趨勢至少會持續(xù)到2024年底。

微軟的年報中也向投資者強調(diào)，GPU是其云業(yè)務(wù)快速增長的「關(guān)鍵原材料」。如果無法獲得所需的基礎(chǔ)設(shè)施，可能會出現(xiàn)數(shù)據(jù)中心中斷的風(fēng)險因素。

據(jù)推測，OpenAI可能需要50000個H100，而Inflection需要22,000個，Meta可能需要 25k，而大型云服務(wù)商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。

Lambda和CoreWeave以及其他私有云可能總共需要100k。Anthropic、Helsing、Mistral和Character可能各需要10k。

整體算來，全球公司需要約432000張H100。按每個H100約35k美元來計算，GPU總需求耗資150億美元。

這其中，還不包括國內(nèi)大量需要H800的互聯(lián)網(wǎng)公司。

而且，H100不光不愁賣，利潤率還高得嚇人。

業(yè)內(nèi)專家曾稱，英偉達H100的利潤率接近1000%。