馬斯克豪擲40億購(gòu)10萬(wàn)張H100訓(xùn)Grok 3!自曝Grok 2下月上線,巨額博弈劍指OpenAI
一邊造火箭,一邊造新能源車,一邊在推特評(píng)論區(qū)到處冒泡的馬斯克繼Grok 1.5發(fā)布后繼續(xù)為自己的AI初創(chuàng)公司造勢(shì)。
在回帖中,馬斯克宣布xAI的大語(yǔ)言模型Grok 2將于8月推出。
并且馬斯克為大家劃重點(diǎn):在數(shù)據(jù)訓(xùn)練方面將有大跨步。

Grok是馬斯克正式進(jìn)入生成式AI這條賽道推出的AI聊天機(jī)器人,來(lái)自一個(gè)與OpenAI、谷歌、Meta等巨頭同時(shí)扳手腕的初創(chuàng)公司xAI,不僅開(kāi)源還造超算中心,可謂野心勃勃。

自今年3月以來(lái),xAI陸續(xù)推出了Grok 1.5大語(yǔ)言模型和首個(gè)多模態(tài)模型Grok1.5 Vision。
xAI曾表示,Grok 1.5V在多學(xué)科推理、文檔理解、科學(xué)圖表、表格處理等多領(lǐng)域「都能媲美現(xiàn)有的前沿多模態(tài)模型」。
今年5月,馬斯克表示,xAI是一家新公司,因此Grok仍有大量準(zhǔn)備工作要做,才能與谷歌Deepmind和OpenAI相抗衡。
后來(lái)者要居上,xAI一直在暗暗發(fā)力,直指模型性能,期望能給大公司上壓力。
Grok 2:數(shù)據(jù)訓(xùn)練飛躍或有效解決「人體蜈蚣效應(yīng)」
馬斯克宣布Grok 2將在8月推出這條回帖的原帖也頗有意味。

原帖中,Cohere首席執(zhí)行官Aidan Gomez表示,由于許多人工智能模型都是根據(jù)OpenAI的輸出結(jié)果進(jìn)行訓(xùn)練的,因此會(huì)產(chǎn)生「人體蜈蚣效應(yīng)」,即模型會(huì)產(chǎn)生相同的輸出結(jié)果。
對(duì)于這一現(xiàn)象,使用大語(yǔ)言模型的用戶應(yīng)該深有體會(huì)。
有一位推特網(wǎng)友發(fā)現(xiàn),他雖然付了GPT-4和Claude兩份的錢,卻得到了同一份相同的錯(cuò)誤答案。

這個(gè)千載難逢的抹黑GPT的機(jī)會(huì),馬斯克自然不會(huì)錯(cuò)過(guò)。
他與OpenAI之間的戰(zhàn)火早已彌漫了4個(gè)月,前段時(shí)間甚至向法院發(fā)起訴訟,指控OpenAI違反合同。
于是,借此天賜良機(jī),馬斯克狠狠地拉踩OpenAI,為即將推出的Grok造勢(shì)。
他發(fā)帖表示,從互聯(lián)網(wǎng)語(yǔ)料中清除掉LLM合成的錯(cuò)誤數(shù)據(jù),形成高質(zhì)量數(shù)據(jù)集需要大量的工作,而8月份推出的Grok 2將是這方面的巨大進(jìn)步。
消息一出,前腳才被OpenAI封鎖API,后腳又被鴿GPT-4o語(yǔ)音功能的傷心用戶們紛紛表示,要轉(zhuǎn)投這個(gè)出身豪門的Grok的懷抱。

等不及了!我老早就用Grok比GPT用的多了!

等不及看到下一代Grok了!Grok 2公布之日,就是OpenAI退訂之時(shí)。
奧特曼表示:

Grok 3:豪擲40億美元買10萬(wàn)個(gè)H100訓(xùn)練模型
馬斯克公布完Grok 2發(fā)行時(shí)間,繼續(xù)回復(fù)表示Grok 3將在年底推出。
并且在經(jīng)過(guò)10萬(wàn)個(gè)英偉達(dá)H100 GPU的訓(xùn)練后,將成為「特別的東西」。

的確特別,首要就是特別壕。
一筆訂單十位數(shù)。那個(gè)無(wú)人在意的角落里,老黃又靠「賣鏟子」賺翻了。
科技公司都在競(jìng)相打造更加智能的人工智能產(chǎn)品,H100自然成為這場(chǎng)AI軍備競(jìng)賽的香餑餑。
H100 GPU作為AI的關(guān)鍵組件、硅谷的熱門商品,據(jù)估計(jì)每塊成本在3萬(wàn)到4萬(wàn)美元之間,馬斯克的十位數(shù)訂單可能有團(tuán)購(gòu)價(jià)。
這意味著,Grok 3正在價(jià)值30億至40億美元的人工智能芯片上接受訓(xùn)練。但目前還不清楚這些芯片是否是xAI直接購(gòu)買的,從云服務(wù)提供商那里租用GPU計(jì)算也是可能的。
The Information在5月份報(bào)道稱,馬斯克的xAI初創(chuàng)公司正在與甲骨文公司洽談,準(zhǔn)備斥資100億美元租用云服務(wù)器。
可以確定的是,馬斯克的xAI近年來(lái)的確直接購(gòu)買了大量的H100。
例如,據(jù)報(bào)道,特斯拉首席執(zhí)行官將原定用于特斯拉的一批價(jià)值5億美元的英偉達(dá)H100轉(zhuǎn)用于xAI。
可以想到,基于10萬(wàn)個(gè)GPU訓(xùn)練的Grok 3將比Grok 2更上一層樓。
馬斯克在今年4月接受挪威主權(quán)基金負(fù)責(zé)人Nicolai Tangen采訪時(shí)說(shuō),Grok 2需要大約2萬(wàn)張H100來(lái)進(jìn)行訓(xùn)練。
到目前為止,xAI已經(jīng)發(fā)布了Grok 1和Grok 1.5,最新的Grok 1.5只提供給早期測(cè)試者和X(前身為Twitter)上的用戶。
評(píng)論區(qū)也尤其關(guān)注了Grok 2和Grok 3的用戶使用范圍,可以看出,大家對(duì)10萬(wàn)張H100訓(xùn)練出來(lái)的模型頗有期待。

10萬(wàn)個(gè)GPU聽(tīng)起來(lái)確實(shí)很多,但是,像Meta這樣的其他科技巨頭正在購(gòu)買更多的GPU。
Mark Zuckerber今年1月表示,到2024年底,Meta將購(gòu)買約35萬(wàn)個(gè)英偉達(dá)H100 GPU。
并且,Meta將擁有包括其他GPU在內(nèi)的約60萬(wàn)個(gè)芯片。也就是說(shuō),Meta將花費(fèi)約180億美元打造AI芯片。
H100芯片的囤積數(shù)量,也成為AI人才衡量公司實(shí)力的重要標(biāo)準(zhǔn)。
人工智能初創(chuàng)公司Perplexity的創(chuàng)始人兼首席執(zhí)行官Aravind Srinivas談到,他曾試圖挖一名Meta的人工智能研究人員,但遭到拒絕,部分原因是Zuckerber保有了大量H100芯片。
Srinivas表示,我想從Meta聘請(qǐng)一位非常資深的研究員,你知道他們?cè)趺凑f(shuō)嗎?
這位研究員無(wú)情拒絕,「等你有1萬(wàn)個(gè)H100 GPU的時(shí)候再來(lái)找我吧。」
由此可見(jiàn),AI的核心是掌握算力,要想掌握數(shù)據(jù),就得掌握運(yùn)行數(shù)據(jù)芯片。
數(shù)據(jù)中心親自監(jiān)工
買買買之后,「工作狂」馬斯克自然不會(huì)停下腳步。
分析師Adam Jonas在6月26日公開(kāi)表示,如今AI數(shù)據(jù)中心在美國(guó)各地落地,導(dǎo)致美國(guó)周邊電網(wǎng)用量激增。
而特斯拉迅速擴(kuò)張的儲(chǔ)能業(yè)務(wù)將幫助xAI在AI大戰(zhàn)中占領(lǐng)一席之地。
這不,supermicro CEO和創(chuàng)始人Chales Liang發(fā)推公布和馬斯克在數(shù)據(jù)中心的合照。

非常感謝馬斯克引領(lǐng)液冷技術(shù)進(jìn)入大型AI數(shù)據(jù)中心!新技術(shù)有可能幫助地球保護(hù)200億棵樹(shù)免于砍伐!
網(wǎng)友調(diào)侃道,馬斯克要不就別睡了,要不數(shù)據(jù)中心打個(gè)地鋪瞇一會(huì)兒。

根據(jù)美國(guó)對(duì)數(shù)據(jù)中心的節(jié)能要求,全國(guó)范圍內(nèi)新建數(shù)據(jù)中心要求PUE<1.2,而傳統(tǒng)的風(fēng)冷制冷方式已經(jīng)無(wú)法滿足數(shù)據(jù)中心的散熱需求,更加高效的液冷方案應(yīng)運(yùn)而生。
如何降低能耗也一直是各家公司關(guān)注的核心問(wèn)題,而液冷技術(shù)具有冷卻效率高、節(jié)能環(huán)保、穩(wěn)定性強(qiáng)的優(yōu)點(diǎn)。
因此,在人工智能領(lǐng)域,隨著AI智算的需求爆發(fā),液冷方案已經(jīng)成為AI數(shù)據(jù)中心的首選。





































