馬斯克又又又跳票了！說好年底推出的“重大飛躍”的Grok 3，遲遲未現身！ 原創
編輯 | 伊風
出品 | 51CTO技術棧（微信號：blog51cto）
有沒有人發現——馬斯克又又又又跳票了？？
你說好“年底”發的Grok 3呢？不會是2025年年底吧
“Grok 3經過100k H100的訓練后，2024年底應該會非常特別。”馬斯克在7月的一篇X平臺帖子中寫道，提到xAI在孟菲斯建立的龐大GPU集群。
圖片
在12月15日的帖子表示，“Grok 3將是一次重大的飛躍”。
圖片
然而，今天都1月3日了，也沒有聽說即將發布Grok 3的消息！
事實上，就算最近xAI有所動作，也只能期待一個折中版的2.5了。
根據推特AI博主Tibor Blaho的帖子，他在xAI網站上發現的某些代碼表明，可能即將發布中間模型“Grok 2.5”。
圖片
查看完整代碼可移步：??https://archive.is/FlmBE??
作為馬斯克和奧特曼的“打擂臺”之作，Grok 系列確實是一個成功的攪局者。
也因此，馬斯克預告的Grok 3將帶來的“飛躍”，在目前稍顯冷清的大模型發布中備受關注。
馬斯克本人在做客Fridman的播客中似乎預想到了Grok將會面臨的困難。
“你希望Grok 3是最先進的？”主持人問道。
“希望是這樣。”馬斯克回答。“我的意思是，這是目標。我們可能會失敗。但這就是我們的愿景。”
1.AI墻的證明：大模型的下一代集體缺席
這不是馬斯克第一次“畫餅”沒有兌現。眾所周知，馬斯克關于產品發布時機的聲明通常最多只是理想化的目標。
被玩梗后，馬斯克自己都跳出來澄清，“對于基于時間的預測，我通常以 50% 的百分位數日期為目標，這意味著我的預測一半會遲到，一半會提前。”
圖片
但Grok 3的缺席卻有所不同，因為它是“AI撞墻”論調中不斷增加的證據之一。
去年，AI初創公司Anthropic未能按時推出其頂級Claude 3 Opus模型的繼任者。在宣布下一代模型Claude 3.5 Opus將在2024年底發布幾個月后，Anthropic將該模型的相關信息從開發者文檔中刪除了。（根據一份報告，Anthropic確實在去年完成了Claude 3.5 Opus的訓練，但決定發布它并不符合經濟效益。）
據報道，谷歌和OpenAI最近幾個月也在其旗艦模型上遭遇了挫折。
這可能是當前AI Scaling Law“過時”的證據——即公司們正在采用的增加模型能力的方法似乎已經失靈。
在不久前，使用大量計算資源和更大規模的數據集來訓練模型，能夠獲得顯著的性能提升。但隨著每一代模型的推出，增益開始縮小，這促使公司們尋求替代技術。
Grok 3推遲的原因可能有其他方面。例如，xAI的團隊規模比許多競爭對手小得多。
2.變得冷清的模型圈：上一代旗艦模型的推出時間
在AI模型最瘋狂的成長期，幾乎每一天都能在AI報道的標題中看到“一夜變天”“新王登場”這樣的詞匯。
曾經有多熱鬧，現在就有多落寞。
過去的半年，雖然依舊有很多強大的模型推出，但旗艦模型的發布節奏明顯變得遲緩了。
以下是一些AI科技巨頭，和他們的旗艦模型推出時間，能夠更直觀地感受到“下一代模型”的空缺已久：
OpenAI - GPT-4
發布時間：2023年3月
Google DeepMind - Gemini 1.5
發布時間：2024年2月
Anthropic - Claude 3.5
發布時間：2024年6月
Meta-Llama 3.1
發布時間：2024年7月
xAI - Grok 2
發布時間：2024年8月
OpenAI-o1
發布時間：2024年9月
??許多觀點（包括OpenAI前首席研究官）認為o1其實就是“下一代模型”。??該模型的計算能力是GPT-4的100倍。
然而，o1 能力增長來源于思維鏈的加持，而非傳統的Scaling Law。
由此可見，從去年下半年開始，大模型的發展似乎已經陷入了集體“啞火”的狀態，呈現出傳說中的那面無形的“墻”的輪廓。
3.另辟蹊徑，大模型要繞過那面墻
年底Ilya一句“預訓練走向終結”在AI圈掀起討論的狂潮。
觀之國內，AI大佬也紛紛尋找AI訓練的轉機與突破。
其中，月之暗面的創始人楊植麟是對預訓練仍抱有樂觀的少數派。在Kimi數學模型發布的時候，他說自己“對Scaling Law仍然樂觀，認為預訓練模型還有半代到一代的提升空間，這個空間大概率會由頭部大模型在明年釋放出來。”
但他也依然承認，Scaling Law的范式有所變化：“做Post-train（后訓練）也要Scaling，只是說你Scaling的起點很低。可能很長一段時間，你的算力就不會是瓶頸，這個時候創新能力是更重要的。”
在媒體報道中，上海人工智能實驗室主任助理、領軍科學家喬宇同樣表示“并不是說Scaling Law要被拋棄了，而是應該尋找新的Scaling Law維度，很多難題并不能單純靠擴大模型規模、數據、算力解決，我們需要更豐富的模型架構和更高效的學習方法，同時也希望在AGI發展過程中，能有來自中國的核心貢獻，找到與中國資源稟賦更加匹配的、自主的技術路線”。
階躍星辰首席科學家張祥雨則更“激進”一些，他直白表示，他對萬億以上參數大模型的能力提升，并不絕對樂觀。他說“根據我們的觀察，隨著大模型規模的不斷擴大，歸納相關的能力快速提升，而且可能會繼續遵循Scaling Law，但其演繹能力，包括數學和推理方面的能力，隨著模型Side進一步提升，不僅沒有增長，反而在下降。”
參考鏈接：
??https://techcrunch.com/2025/01/02/xais-next-gen-grok-model-didnt-arrive-on-time-adding-to-a-trend/??
??https://user.guancha.cn/main/content?id=1353634??
本文轉載自??51CTO技術棧??，作者：伊風
