為了訓練ChatGPT，微軟可謂下了足夠多的血本。

ChatGPT消耗的總算力約為3640PF-days，假如每秒計算一千萬億次，需要計算3640天。

微軟將3萬多個英偉達A100芯片連起來，為OpenAI耗資數億美元量身打造了超算。

要是這么耗下去，微軟腰包恐怕也吃不消。

其實，取代英偉達芯片的計劃，已經從2019年起，就開始在公司內部秘密展開了。

The Information報道稱，大約在5年前，微軟就開始研發一種芯片，內部代號「雅典娜」（Athena），300人共同研發。

而最初的計劃，是用臺積電的5nm工藝打造。

自研Athena，挑戰英偉達

不用多說，「雅典娜」是專為訓練大型語言模型（LLM）而設計的。

而現在，微軟想要把GPT-4能力全部裝進包括Bing、Microsoft 365和GitHub在內的全家桶中，必定需要大量的算力支持。

讓人震驚的是，開發類似于Athena這種芯片的成本，可能約為每年1億美元。

在訓練模型時，研究人員可以借助「雅典娜」的功能來處理新數據，同時，還能進行推理。

這樣一來，以前處理人工智能軟件必須使用專用計算機的局面就得到緩解了，畢竟，專門用來跑AI的計算機從來都不夠用。

因為，之前只有英偉達才生產這種芯片，而供貨量的缺少也就使得整個科技行業都感受到了這種短缺。

也正因如此，微軟才不得不專門為一部分內部團隊提供專用芯片。

此前，研究公司SemiAnalysis曾估算，ChatGPT每日燒70萬美元，每查詢一次，就需要0.36美分。

如果「雅典娜」具有競爭力，就能夠將每顆芯片的成本降低1/3。

Forrester Research的高級云分析師Tracy Woo表示，AI的爆火讓各大公司都涌入其中，而芯片的缺乏不僅給供貨商帶來壓力，還給AI科技公司帶來了壓力。

像谷歌和亞馬遜這樣大體量的科技公司有足夠的資本設計和開發屬于自己的芯片，其它的公司也得眸足勁兒緊跟步伐。

說回到微軟的「雅典娜」。

其實微軟的AI芯片項目發布的時機純屬偶然，并不是蓄謀已久。

今年年初，OpenAI和微軟對于LLM的訓練有了質的飛躍。知情人士表示，ChatGPT的發布引爆了網絡，也正因如此，微軟才急匆匆地加快了「雅典娜」的問世。

要知道，ChatGPT的用戶已經超過1億了。

據預測，微軟可能最早在明年大面積應用「雅典娜」，范圍包括微軟內部和OpenAI。他們還在猶豫的是，要不要把「雅典娜」提供給Azure云計算服務的客戶。

微軟方面表示，大多數客戶不需要訓練自己的LLM，因此也就不需要芯片加持。

然而如果真要給的話，微軟可得干過英偉達。畢竟，英偉達的芯片已經辛勤耕耘十五載，暢銷所有開發者。

研究公司SemiAnalysis的首席分析師Dylan Patel表示，ChatGPT的運營成本大概是每天70萬美元，大概每次查詢0.36美分。而這些成本的主要來源，就是服務器，實在是太貴了。

但如果OpenAI用上自己研發的「雅典娜」，還能pk過英偉達的話，那么成本能直降三分之一。

他進一步表示，微軟未來還希望在所有旗下的應用程序中都使用LLM，比如Bing、Office 365、GitHub等等。而如果繼續使用目前的硬件進行部署，那每年得花數百億美元。

此外，微軟自研芯片還有另一個數據支撐。

微軟的高層預測了究竟需要多少圖形處理單元來支撐AI工作。而其中一位知情者表示，完全依賴英偉達的芯片的話，成本高的嚇人。

雖說去年微軟和英偉達剛剛達成了一個建設超算的合作項目，但在芯片這方面，「雅典娜」還是和英偉達的產品存在競爭關系。

不過，對于這一敏感話題，英偉達拒絕置評。