馬斯克掀桌子了，最強開源大模型誕生！Grok-2近萬億參數(shù)性能首曝
什么？馬斯克終于開源了Grok-2！
一大早，xAI正式官宣，向所有人開源Grok-2！
馬斯克還預告，Grok-3將在6個月后開源。
Grok-2于2024年完成訓練，體積超500GB。其混合專家（MoE）架構在Grok-1的基礎上進行了改進。
那Grok-2到底開源了哪些部分？開源版本的技術特點是什么？開源權限有什么？
我們?yōu)槟阋灰皇崂砹讼拢细韶洠?/span>
開源了什么？
xAI本次向所有用戶開源了Grok-2以下核心部分：
- 模型權重
- 模型架構
Grok-2開源版本技術特點
這個開源的「大腦」擁有非常強大的技術規(guī)格：
巨大的模型規(guī)模：總參數(shù)量高達9050億（905B），在推理時，每次會激活其中的1360億（136B）參數(shù)。這使它成為目前最強大的開源模型之一。
超長的上下文窗口：支持高達131,072 (128k) token的上下文長度。
這意味著它可以一次性閱讀和處理非常長的文檔或對話歷史（大約相當于一本200多頁的書），進行更復雜的推理和總結。
混合專家架構 (MoE)：這種架構可以在不增加巨大計算成本的前提下，大幅擴展模型規(guī)模，提升模型能力。
較新的訓練數(shù)據(jù)：其預訓練數(shù)據(jù)覆蓋了大量的文本和代碼，截止到2024年初。
Grok-2和Grok-1架構不同點，網(wǎng)友對此做了一個總結：
開源權限是什么？
商業(yè)用途門檻：僅當關聯(lián)公司年收入低于一百萬美元時，才可用于商業(yè)用途。超過此門檻的商業(yè)用途需獲得xAI的單獨許可。
限制：除非本協(xié)議條款允許對Grok 2進行修改或微調(diào)，否則不得使用材料、衍生品或輸出（包括生成的數(shù)據(jù)）來訓練、創(chuàng)建或改進任何基礎、大型語言或通用人工智能模型。
目前，Grok-2現(xiàn)已正式開源，可在Hugging Face上下載。
HF地址：https://huggingface.co/xai-org/grok-2
使用方法：通過SGLang部署
下載權重文件
你可以把/local/grok-2替換成任意你喜歡的文件夾名稱。
hf download xai-org/grok-2 --local-dir /local/grok-2下載過程中你可能會遇到一些錯誤，請多次重試直到下載成功。
如果下載成功，該文件夾下應包含42個文件，總大小大約為500GB。
啟動服務器
安裝最新版的SGLang推理引擎（版本≥v0.5.1），地址：
https://github.com/sgl-project/sglang/
使用以下命令啟動推理服務器。這個檢查點（checkpoint）配置為 TP=8，所以需要8張GPU（每張顯存大于40GB）。
python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton發(fā)送請求
這是一個經(jīng)過額外訓練的模型，所以需要使用正確的對話模板。
python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"你應該能看到模型輸出名字——Grok。
大佬點評
網(wǎng)友XFreeze稱，xAI發(fā)展的速度極其驚人！
他透露，xAI位于孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面投入運營，配備100,000塊英偉達H100 GPU。
「短短兩年內(nèi)，xAI憑借Grok 4的發(fā)布，以極其精簡的團隊登頂全球最強人工智能之巔。」他感嘆道。
黃仁勛曾稱，這是「超人」之舉，只有馬斯克能做到！
在人工智能發(fā)展進程上，有網(wǎng)友毫不吝嗇地贊美馬斯克和xAI：他們正以光速推動AI的進步。
他還預告，Grok 5訓練即將開始。
有網(wǎng)友感嘆道，92天內(nèi)將容量翻倍，這不是資本分配帶來的結果，而是一種繞過傳統(tǒng)使用一種新的運營策略帶來的。
有網(wǎng)友表示，這一切，就像在實時觀看一個科幻夢想成真——真正達到了創(chuàng)新的巔峰！
Grok 4發(fā)布會上，馬斯克曾預告了下一步路線圖——
8月將發(fā)布編碼模型，9月發(fā)布多模態(tài)智能體，10月發(fā)布視頻生成模型。
xAI模型能飛速迭代，主要背靠了強大的超算中心。預計5年內(nèi)，xAI將打造出5000塊H100巨無霸超算。
老馬自信滿滿地表示，「xAI很快就能干掉谷歌以外的所有對手，就連谷歌，超過它也是遲早的事」。
真是有點期待，下一個AI帝國誕生了。
