本研究由中科院自動(dòng)化所和騰訊混元聯(lián)合研發(fā)，團(tuán)隊(duì)成員包括 Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng,  Jie Jiang

背景：多模態(tài)大模型的思考困境

當(dāng)前，業(yè)界頂尖的大模型正競相挑戰(zhàn)“過度思考”的難題，即無論問題簡單與否，它們都采用 “always-on thinking” 的詳細(xì)推理模式。無論是像 DeepSeek-V3.1 這種依賴混合推理架構(gòu)提供需用戶“手動(dòng)”介入的快慢思考切換，還是如 GPT-5 那樣通過依賴龐大而高成本的“專家路由”機(jī)制提供的自適應(yīng)思考切換。它們距離真正意義上的“智能思考”仍有距離。這些方案或?qū)⑴袛鄩毫D(zhuǎn)移給用戶，或受限于復(fù)雜的系統(tǒng)架構(gòu)和高昂的部署成本。因此，研發(fā)一款輕量化、支持多模態(tài)且能實(shí)現(xiàn)更智能自適應(yīng)思考的大模型，將為用戶提供更加流暢的交互體驗(yàn)。

近期，由騰訊混元團(tuán)隊(duì)與中科院自動(dòng)化所合作的一項(xiàng)最新研究推出 R-4B 多模態(tài)大模型，通過自適應(yīng)思考（auto-thinking）機(jī)制，改變了這一現(xiàn)狀，它讓 AI 能像人類一樣 “智能切換” 思維模式。簡單問題直接響應(yīng)，復(fù)雜問題深度推理，在最大化回答準(zhǔn)確性的同時(shí)，最小化計(jì)算開銷。

• 論文標(biāo)題：R-4B: INCENTIVIZING GENERAL-PURPOSE AUTOTHINKING CAPABILITY IN MLLMS VIA BI-MODE ANNEALING AND REINFORCE LEARNING
• 論文鏈接：https://arxiv.org/pdf/2508.21113

這一 “按需思考” 的核心能力，為 4B 量級的多模態(tài)模型樹立了全新的性能標(biāo)桿，使其在評測性能指標(biāo)上成功超越了 Keye-VL-8B、Kimi-VL-A3B-Thinking-2506 等更大規(guī)模的模型。

同時(shí)，R-4B 在權(quán)威基準(zhǔn) OpenCompass 榜單上取得了優(yōu)異成績。

• 登頂 OpenCompass 多模態(tài)學(xué)術(shù)榜單：在 20B 以內(nèi)規(guī)模多模態(tài)大模型中，性能排名 Top 1！

• 位列 OpenCompass 多模態(tài)推理榜單開源榜首：在開源模型中，推理性能拔得頭籌！ 

目前，該模型已在 GitHub 和 HuggingFace 上線，且支持 vLLM 快速部署。「消費(fèi)級顯卡即可運(yùn)行，適用于筆記本電腦、智能座艙、智能家居等低功耗場景，支持垂直領(lǐng)域低成本微調(diào)。」截至目前下載量已破萬，歡迎大家體驗(yàn)！

• GitHub 代碼倉庫：https://github.com/yannqi/R-4B 
• Hugging Face 模型下載：https://huggingface.co/YannQi/R-4B

突破：R-4B 的自適應(yīng)思考引擎

R-4B 的智慧之處在于其自適應(yīng)思考能力：

• 遇到簡單問題（簡單實(shí)體識(shí)別、簡易問答），它選擇直接、高效地響應(yīng)。
• 面對復(fù)雜任務(wù)（如數(shù)學(xué)計(jì)算、圖表分析），它則自動(dòng)切換到深度思考模式，生成詳細(xì)的思考過程。

R-4B 的核心創(chuàng)新在于其獨(dú)特的兩階段訓(xùn)練策略。為實(shí)現(xiàn)模型在通用領(lǐng)域的自適應(yīng)思考，研究團(tuán)隊(duì)首先提出雙模退火（bi-mode annealing）訓(xùn)練策略，促使模型同時(shí)掌握通用領(lǐng)域的思考與非思考能力。

該階段可以理解為對模型進(jìn)行 “思考” 啟蒙，即同時(shí)喂給它兩種范式數(shù)據(jù)：一種需要直接回答（非思考模式，像日常對話），另一種需要詳細(xì)推理（思考模式，像解數(shù)學(xué)題）。通過這種訓(xùn)練，模型同時(shí)掌握了思考和非思考這兩種響應(yīng)模式，為后續(xù)的自適應(yīng)思考模式訓(xùn)練打下堅(jiān)實(shí)基礎(chǔ)。該階段的核心是通用領(lǐng)域推理和非推理模式的數(shù)據(jù)構(gòu)建策略：針對客觀題，用模型采樣的答案一致性來衡量題目的難易程度；針對主觀題目，用提示工程的方式去區(qū)分解決問題是否需要進(jìn)一步思考。

• 推理模式數(shù)據(jù)：涵蓋圖表分析、邏輯推理等需多步推理的任務(wù)（如科學(xué)圖解或數(shù)學(xué)問題）。
• 非推理模式數(shù)據(jù)：針對直接事實(shí)響應(yīng)的查詢（如實(shí)體識(shí)別或簡單問答）。

經(jīng)過退火訓(xùn)練，得到一個(gè)同時(shí)精通思考與非思考模式的基礎(chǔ)模型 R-4B-Base ，為后續(xù)自適應(yīng)思考強(qiáng)化訓(xùn)練奠定基礎(chǔ)。基于此，團(tuán)隊(duì)開發(fā)了雙模策略優(yōu)化（Bi-mode Policy Optimization, BPO）強(qiáng)化學(xué)習(xí)算法。它無需依賴精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)或特定數(shù)據(jù)，而是僅依賴基于規(guī)則的獎(jiǎng)勵(lì)信號(hào)，從數(shù)學(xué)數(shù)據(jù)出發(fā)，并可泛化到通用領(lǐng)域。其核心是混合雙模 rollout 機(jī)制，通過強(qiáng)制模型在訓(xùn)練中同時(shí)探索思考模式和非思考模式軌跡，從而避免模型陷入對單一模式的響應(yīng)偏好。在此基礎(chǔ)上，通過同時(shí)獎(jiǎng)勵(lì)兩種思考模式的策略，使模型自己學(xué)會(huì)判別何時(shí)應(yīng)該思考。

性能表現(xiàn)：小模型，大能量

R-4B-RL 模型在多項(xiàng)公開基準(zhǔn)測試中性能表現(xiàn)卓越，刷新了現(xiàn)有記錄，其性能超過 Keye-VL-8B、Kimi-VL-A3B-Thinking-2506 等更大規(guī)模的模型。 

更關(guān)鍵的是，R-4B-RL 在自適應(yīng)思考模式下實(shí)現(xiàn)了推理效率的提升，在簡單任務(wù)下模型無需消耗更多的 Token。這證明了 BPO 算法的有效性，即無需通用領(lǐng)域的強(qiáng)化學(xué)習(xí)數(shù)據(jù)或額外的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，模型也能實(shí)現(xiàn)自適應(yīng)思考。

應(yīng)用前景：從科研到產(chǎn)業(yè)的智能化浪潮

R-4B 的突破不止于技術(shù)，更開啟了廣闊應(yīng)用場景：

• 應(yīng)用智能 ：在日常問答分析中，自動(dòng)切換簡單查詢（如文檔內(nèi)容提取）和復(fù)雜推理（如圖表分析）的思維模式，提升自動(dòng)化處理效率。
• 科學(xué)研究 ：在處理科學(xué)圖表時(shí)，R-4B 的深度推理模式可解析多步關(guān)系，精準(zhǔn)解讀數(shù)據(jù)，提高研究效率。
• 消費(fèi)級 AI ：邊緣設(shè)備部署中，R-4B 憑借更少的參數(shù)和自適應(yīng)思考模式降低延遲和能耗，適用于即時(shí)問答系統(tǒng)。

(1) 文檔內(nèi)容提取（簡單查詢）

(2) 圖表分析（復(fù)雜推理）

結(jié)語：自適應(yīng)思考，探索 AI 發(fā)展新道路

從雙模退火訓(xùn)練到 BPO 優(yōu)化，R-4B 不僅解決了 MLLMs 的思考困境，更在小尺寸模型上探索了自適應(yīng)思考的可行性 。自適應(yīng)思考不僅是技術(shù)優(yōu)化，更是對效率與普惠平衡的追求。在 AI 計(jì)算與推理成本飆升的今天，R-4B 的輕量化、智能化設(shè)計(jì)，為大模型可持續(xù)發(fā)展注入綠色動(dòng)力。