小模型正在變得越來越好，而且越來越便宜。

剛剛，法國 AI 創企 Mistral AI 開源了一個 24B 的多模態小模型，該模型在多個基準上擊敗了 Gemma 3 和 GPT-4o Mini 等同類模型，而且推理速度達到了 150 個 token / 秒，稱得上是又好又快。

重要的是，它只需要一個 RTX 4090 或 32GB RAM 的 Mac 就能運行，而且開源協議是 Apache 2.0，因此既能用于研究，也能商用。

具體來說，Mistral Small 3.1 是基于 Mistral Small 3 構建的。與 Mistral Small 3 相比，它的上下文窗口更大，達到了 128k（Mistral Small 3 僅為 32k），文本生成能力得到了改進，還新增了視覺能力。

Mistral 官方表示，Mistral Small 3.1 是一款多功能模型，旨在處理各種生成式 AI 任務，包括指令遵循、對話輔助、圖像理解和函數調用。它為企業級和消費級 AI 應用提供了堅實的基礎。

目前，部分開發者已經在自己的設備上完成了部署，并曬出了體驗效果：

Mistral Small 3.1 可在 huggingface 網站 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct 上下載。

• Mistral Small 3.1 Base：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
• Mistral Small 3.1 Instruct：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503  

以下是該模型的詳細信息。

核心特性

Mistral Small 3.1 具有以下特點：

• 輕量級：可以在單個 RTX 4090 或具有 32GB RAM 的 Mac 上運行。這使其非常適合端側使用情況。
• 快速響應能力：非常適合虛擬助手和其他需要快速、準確響應的應用程序。
• 低延遲函數調用：能夠在自動化或智能體工作流中快速執行函數。
• 針對專業領域進行微調：Mistral Small 3.1 可以針對特定領域進行微調，打造精準的主題專家。這在法律咨詢、醫療診斷和技術支持等領域尤其有用。
• 高級推理的基礎：開放的 Mistral 模型已經被開發者用來構建出色的推理模型，比如 Nous Research 的 DeepHermes 24B 就是基于 Mistral Small 3 構建出來的。為了鼓勵這種創新，Mistral AI 發布了 Mistral Small 3.1 的基礎模型和指令檢查點，以便社區進一步對模型進行下游定制。

Mistral Small 3.1 可用于需要多模態理解的各種 B 端和 C 端應用程序，例如文檔驗證、診斷、端側圖像處理、質量檢查的視覺檢查、安全系統中的物體檢測、基于圖像的客戶支持和通用協助。

性能展示

以下是 Mistral Small 3.1 在文本、多模態、多語言、長上下文等場景中的性能表現情況。

文本指令基準

多模態指令基準

多語言指令基準

預訓練性能