編輯 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

太魔鬼了！上周李飛飛團(tuán)隊(duì)發(fā)了篇新論文，再次降低了復(fù)刻o1能力的成本。

低到什么程度呢？論文里說(shuō)，在現(xiàn)成的預(yù)訓(xùn)練模型（用的是阿里系開(kāi)源的Qwen2.5- 32B-Instruct）進(jìn)行監(jiān)督微調(diào)（SFT），使用構(gòu)建的小規(guī)模數(shù)據(jù)集，僅耗時(shí)26分鐘，就在16張 H100 GPU上完成訓(xùn)練。

據(jù)研究人員介紹，這樣的算力租賃成本大約在20美元左右！

圖片

這么省時(shí)省錢(qián)的模型，居然和o1預(yù)覽版性能掰手腕：實(shí)驗(yàn)結(jié)果顯示，在數(shù)學(xué)競(jìng)賽類問(wèn)題上，s1-32B的表現(xiàn)超過(guò)o1-preview多達(dá)27%（MATH 和 AIME24 數(shù)據(jù)集）。

李飛飛團(tuán)隊(duì)的訓(xùn)練成果已經(jīng)開(kāi)源了：https: //github.com/simplescaling/s1. 

此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)了一種技巧，被稱為預(yù)算控制（budget forcing）策略，即調(diào)整測(cè)試時(shí)計(jì)算資源。這個(gè)方法的具體做法是強(qiáng)制終止模型的推理過(guò)程，或在模型嘗試結(jié)束生成時(shí)多次附加“Wait”，從而延長(zhǎng)其思考時(shí)間。這一方法能促使模型自我檢查答案，往往可以糾正錯(cuò)誤的推理步驟。

論文中用了經(jīng)典的數(shù)R問(wèn)題做例子，在模型差點(diǎn)要得出錯(cuò)誤答案“2”時(shí)。研究人員打斷了AI的思考，并在其生成內(nèi)容后追加“Wait”，從而促使 s1-32B 自我修正了答案。像極了家長(zhǎng)檢查作業(yè)的樣子。

圖片

1.蒸餾：站在大模型巨人的肩膀上

李飛飛團(tuán)隊(duì)的s1可以說(shuō)是Qwen2.5和Gemini 2.0 Flash Thinking Experimental的孩子。（在谷歌今天更新的Gemini 2.0全家桶中，Gemini 2.0 Flash的推理能力已經(jīng)正式上線，摘掉了“Experimental”的帽子，并擴(kuò)展到谷歌地圖、搜索等應(yīng)用中。）

阿里旗下通義千問(wèn)（Qwen）的開(kāi)源小模型，提供了s1的基座。而Gemini 2.0 Flash則是s1在推理方面的“老師”。

研究人員通過(guò)精心篩選的1000個(gè)問(wèn)題及其答案，記錄了Gemini 2.0 Flash Thinking Experimental的“思考過(guò)程”數(shù)據(jù)，構(gòu)建了訓(xùn)練集。然后使用這一數(shù)據(jù)集對(duì)Qwen2.5- 32B-Instruct進(jìn)行了微調(diào)。

有意思的是，這事也違反了谷歌的條款。Gemini的使用條款禁止用戶對(duì)其模型進(jìn)行逆向工程，以開(kāi)發(fā)與Google AI產(chǎn)品競(jìng)爭(zhēng)的服務(wù)。對(duì)此，Google尚未發(fā)表評(píng)論。

2.監(jiān)督微調(diào)，比R1的“大規(guī)模強(qiáng)化學(xué)習(xí)”更省錢(qián)

在論文中，研究人員提到s1希望找到實(shí)現(xiàn)強(qiáng)推理能力和“測(cè)試時(shí)擴(kuò)展”（即讓AI在回答問(wèn)題前思考更久）的最簡(jiǎn)單方法。

OpenAI的o1模型在推理方面的突破，引發(fā)了DeepSeek等AI實(shí)驗(yàn)室嘗試通過(guò)不同技術(shù)加以復(fù)現(xiàn)。

論文指出，推理模型可以通過(guò)“監(jiān)督微調(diào)”（SFT）蒸餾而成，這種方法讓AI模型明確模仿數(shù)據(jù)集中某些行為。SFT的成本通常低于DeepSeek用于訓(xùn)練其R1模型的“大規(guī)模強(qiáng)化學(xué)習(xí)”方法。

因?yàn)镾FT 使用了高質(zhì)量的標(biāo)注數(shù)據(jù)，例如，論文中提到的 s1K 數(shù)據(jù)集，僅包含 1,000 個(gè)樣本，但這些樣本是經(jīng)過(guò)精心篩選的，具有高難度、多樣性和質(zhì)量。

而純RL 方法通常需要大量的交互數(shù)據(jù)，例如，DeepSeek R1 使用了數(shù)百萬(wàn)個(gè)樣本進(jìn)行訓(xùn)練，這些樣本的生成需要大量的計(jì)算資源和時(shí)間。

此外，相對(duì)于DeepSeek V3作為R1的底座，s1使用了更小的模型做微調(diào)。研究人員所采用的 Qwen2.5-32B-Instruct 模型進(jìn)行 SFT，僅需調(diào)整少量的超參數(shù)即可獲得較好的性能。由于初始的預(yù)訓(xùn)練模型復(fù)雜度較低，能更好地在有限的計(jì)算資源下進(jìn)行訓(xùn)練和部署。

3.寫(xiě)在最后

李飛飛團(tuán)隊(duì)的復(fù)刻再次給人帶來(lái)億些震撼。

半個(gè)小時(shí)，20美元的投入，就能比肩OpenAI等美AI公司數(shù)百萬(wàn)美元所完成的成果。

學(xué)界的研究人員無(wú)需投入百萬(wàn)美元資金也能在AI領(lǐng)域取得創(chuàng)新突破，這無(wú)疑令人興奮。但是，推理模型的“商品化”還有未來(lái)嗎？

如果有人能用少量資金復(fù)制一個(gè)價(jià)值數(shù)百萬(wàn)美元的AI模型，企業(yè)的護(hù)城河還能在哪里？

但是，蒸餾只是一種廉價(jià)復(fù)現(xiàn)AI能力的有效方法，并不能創(chuàng)造出遠(yuǎn)超當(dāng)前水平的全新AI模型。因此，我們可能仍然需要志向遠(yuǎn)大的夢(mèng)想家，需要AI中的巨人。

參考鏈接：https://techcrunch.com/2025/02/05/researchers-created-an-open-rival-to-openais-o1-reasoning-model-for-under-50/

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)