譯者 | 涂承燁

審校 | 重樓

近年來，人工智能領域一直沉迷于大型語言模型（LLMs）的成功。這些模型最初設計用于自然語言處理，如今已演變為強大的推理工具，能夠通過類人類的逐步思考過程解決復雜問題。然而，盡管LLMs具備卓越的推理能力，它們仍存在顯著缺陷，包括高昂的計算成本和緩慢的部署速度，這使得它們在移動設備或邊緣計算等資源受限的實際場景中難以應用。因此，業界對開發更小、更高效模型的興趣日益增長-這些模型能以更低的成本和資源需求提供相似的推理能力。本文探討了這些小型推理模型的崛起、潛力、挑戰以及對人工智能未來的影響。

視角的轉變

在人工智能近期的歷史中，該領域長期遵循“規模法則”，即模型性能會隨著數據量、計算能力和模型規模的擴大而可預測地提升。盡管這種方法催生了強大的模型，但也帶來了顯著的權衡，包括高昂的基礎設施成本、環境影響和延遲問題。并非所有應用都需要具備千億參數規模的大型模型的全部功能。在許多實際場景中（如設備端助手、醫療保健和教育），小型模型若能有效推理，同樣可以取得類似的效果。

理解人工智能中的推理能力

人工智能中的推理能力指模型遵循邏輯鏈條、理解因果關系、推導隱含信息、規劃步驟流程以及識別矛盾的能力。對于語言模型而言，這通常意味著不僅要檢索信息，還要通過結構化的逐步方法對信息進行操縱和推斷。這種層級的推理能力通常通過微調LLMs來實現，使其在得出答案前執行多步推理。盡管有效，但這些方法需要大量計算資源，且部署速度慢、成本高，引發了關于其可訪問性和環境影響的擔憂。

理解小型推理模型

小型推理模型旨在以更高的計算效率、內存利用率和更低的延遲復現大型模型的推理能力。這些模型通常采用一種名為知識蒸餾的技術，即讓較小的模型（“學生”）從更大的預訓練模型（“教師”）中學習。蒸餾過程涉及使用大型模型生成的數據訓練小型模型，目標是遷移推理能力。隨后，“學生”模型會通過微調進一步提升性能。在某些情況下，應用具有特定領域獎勵函數的強化學習，可以進一步增強模型在特定任務中的推理能力。

小型推理模型的崛起與技術進步

小型推理模型發展的一個里程碑是DeepSeek-R1的發布。盡管該模型僅在一個規模相對較小、使用舊款GPU的集群上完成訓練，但其在MMLU和GSM-8K等基準測試中的表現已與OpenAI的o1等大型模型相當。這一成就促使業界重新審視傳統的“規模至上”假設-即更大的模型必然更優。

DeepSeek-R1的成功源于其創新的訓練流程。該模型在早期階段未依賴監督微調，而是結合了大規模強化學習。這一創新催生了DeepSeek-R1-Zero，一個在推理能力上與大型模型相媲美的模型。通過冷啟動數據等改進，該模型在數學和代碼等領域的連貫性和任務執行能力得到顯著提升。

此外，蒸餾技術已被證明在從大型模型開發更小、更高效的模型方面至關重要。例如，DeepSeek已發布參數規模從15億到700億不等的蒸餾版本模型。研究人員通過蒸餾訓練出更小規模的模型DeepSeek-R1-Distill-Qwen-32B，其在多項基準測試中均超越了OpenAI的o1-mini。這些模型現可通過標準硬件部署，成為更廣泛應用的可行選擇。

小型模型能否匹敵GPT級推理能力？

為了評估小型推理模型（SRMs）是否能匹配GPT等大型模型（LRMs）的推理能力，需考察它們在標準基準測試中的表現。例如，DeepSeek-R1在MMLU測試中得分約為0.844，與o1等大型模型相當。在專注于小學數學的GSM-8K數據集上，DeepSeek-R1的蒸餾模型表現達到頂尖水平，超越了o1和o1-mini。

在編程任務中（如LiveCodeBench和CodeForces），DeepSeek-R1的蒸餾模型表現與o1-mini和GPT-4o相當，顯示出強大的代碼推理能力。然而，在需要更廣泛語言理解或長上下文窗口的任務中，大型模型仍占據優勢，因為小型模型通常更專注于特定任務。

盡管表現出色，小型模型在處理擴展推理任務（長時推理任務）或面對分布外數據時仍存在短板。例如，在LLM國際象棋模擬中，DeepSeek-R1的失誤率高于大型模型，表明其在長時間保持專注和準確性方面存在局限。

權衡與實際應用

模型規模與性能的權衡是SRMs與GPT級LRMs對比的關鍵。小型模型對內存和計算能力的需求更低，適合邊緣設備、移動應用或需要離線推理的場景。這種高效性降低了運營成本，例如DeepSeek-R1的運行成本比o1等大型模型低96%。

然而，效率提升也伴隨著妥協。小型模型通常針對特定任務微調，這限制了其通用性。例如，盡管DeepSeek-R1在數學和代碼領域表現出色，但其缺乏GPT-4o等大型模型的多模態能力（例如解析圖像的能力，而GPT-4o等大型模型可以處理這些功能）。

盡管存在局限，小型推理模型的實際應用前景廣闊。在醫療領域，它們可為基于醫院標準服務器的診斷工具提供支持；在教育領域，可開發個性化輔導系統，為學生提供逐步反饋；在科研領域，可輔助數學和物理等學科的數據分析與假設檢驗。DeepSeek-R1等模型的開源特性也促進了協作，使中小組織能夠受益于先進技術。

核心結論

語言模型向小型推理模型的演進是人工智能領域的重要進展。盡管這些模型尚未完全匹配大型語言模型的廣泛能力，但其在效率、成本效益和可訪問性方面具有關鍵優勢。通過在推理能力與資源效率之間取得平衡，小型模型將在各類應用中發揮關鍵作用，使人工智能更實用、更可持續地服務于現實世界。

譯者介紹

涂承燁，51CTO社區編輯，具有15年以上的開發、項目管理、咨詢設計等經驗，獲得信息系統項目管理師、信息系統監理師、PMP，CSPM-2等認證。

原文標題：The Rise of Small Reasoning Models: Can Compact AI Match GPT-Level Reasoning?，作者：Dr. Tehseen Zia