教AI學會使用工具，帶圖推理就能變得更強？！

港中文、微軟聯合8家單位推出OpenThinkIMG開源框架，這是一個專為提升AI視覺工具使用和推理能力而設計的一站式平臺。

眾所周知，我們人類在解決問題時，常常會借助視覺工具：解幾何題時畫輔助線，分析圖表時用熒光筆標記。這些“動手”操作，極大地增強了我們的認知和推理能力。

因此，一旦將同款“動手操作”能力賦予AI，其推理能力也將大大提升。

不過問題是，雖然現在已經有很多強大的視覺工具（分割、檢測、OCR等），但讓AI真正學會如何以及何時智能地使用這些工具，卻面臨巨大挑戰：

• 工具集成難：不同工具接口各異，想把它們整合到一個AI系統里，費時費力。
• 訓練數據缺：教AI用工具，需要大量“示范操作”數據。這種數據怎么來？質量如何保證？
• 模型適應差：傳統方法訓練出的AI，往往只會“照本宣科”，遇到新情況就傻眼，缺乏靈活應變和自主學習的能力。

而OpenThinkIMG框架的出現正是為了解決上述問題，與此同時，團隊還公開了其核心的自適應工具使用訓練技術V-ToolRL。

下面具體來看。

OpenThinkIMG：為AI打造的“超級工具箱”

如框架圖所示，OpenThinkIMG集工具部署、數據生成、智能體訓練于一體。

其核心特性如下：

第一，模塊化視覺工具部署 (Tool Deployment)。

簡單來說，它提供標準化的視覺工具接口，無論是已有的成熟工具（如GroundingDINO, SAM, OCR等），還是你自己的新工具，都能輕松接入OpenThinkIMG的“工具箱”。

并且每個工具都可以作為獨立服務部署，互不干擾，方便管理和按需擴展。AI模型可以通過框架內的“工具控制器”按需調用。

第二，高效的智能體訓練框架 (Training Framework)。

它不僅支持傳統的監督微調 (SFT)，更集成了團隊創新的V-ToolRL (Visual Tool Reinforcement Learning) 算法。

這一算法讓AI通過強化學習，在與視覺工具的真實交互中，從錯誤中學習，自主探索和掌握最佳的工具使用策略。

具體而言，需要先通過SFT進行“理論學習”（冷啟動），然后通過V-ToolRL進行“上路實操”，根據任務完成情況獲得獎勵或懲罰，不斷優化策略。

第三，支持高質量訓練數據生成 (Scalable Trajectory Generation)。

為了給V-ToolRL提供優質的初始“教材”，OpenThinkIMG內置了一套團隊提出的高效、可擴展的視覺工具使用軌跡生成方法。

具體過程分為三步：

• AI規劃師 (GPT-4o) 出馬：先讓大模型規劃出解決問題的初步工具步驟。
• 工具真實執行與記錄：調用OpenThinkIMG中的工具服務，實際執行規劃，并記錄下每一步的輸入輸出。
• 嚴格質檢與篩選：結合AI模型（如Qwen2-VL-72B）、規則和人工審查，層層把關，確保數據質量。

△高質量視覺軌跡數據構建流程

通過OpenThinkIMG的這些核心能力，研究者和開發者可以更專注于模型算法的創新，而不必在工具部署和數據準備上耗費過多精力。

OpenThinkIMG + V-ToolRL：表現超過GPT-4.1

團隊在具有挑戰性的圖表推理任務上，使用OpenThinkIMG框架訓練了基于V-ToolRL的智能體。

如圖所示，V-ToolRL在ChartGemma測試集上的性能表現（基于OpenThinkIMG訓練）如下：

1、大幅超越SFT：基于一個2B的Qwen2-VL，經過V-ToolRL訓練后，準確率比單純SFT提升了28.83個百分點；

2、碾壓同類開源模型：V-ToolRL的表現平均超過了如Taco、CogCom等基于監督學習的工具使用基線12.7個百分點，而且團隊的模型參數量更小；

3、媲美頂尖模型：V-ToolRL的表現超過GPT-4.1，同時和Gemini達到持平的效果。

結果充分證明了OpenThinkIMG框架的強大支撐能力，以及V-ToolRL在學習自適應工具調用策略上的優越性。

那么，V-ToolRL是如何在OpenThinkIMG中學習的呢？

通過OpenThinkIMG的訓練環境，團隊觀察到V-ToolRL智能體展現出以下學習特性：(a) 工具調用更高效 (b) 推理更詳盡 (c) V-ToolRL 學習更快更好。

具體而言，隨著訓練的進行，模型平均調用的工具次數顯著下降，說明它學會了“好鋼用在刀刃上”，只在必要時才使用工具。

而且模型生成的答案（包括思考過程）長度增加了，表明它能夠進行更詳細、更深入的推理。

最后，V-ToolRL（集成了視覺工具的反饋）相比純文本的強化學習，學習速度更快，最終效果也更好，證明了“眼見為實”的重要性。

下圖展示了V-ToolRL在具體問題上的表現。面對復雜的圖表，V-ToolRL能夠：

• 餅圖分析 (上)：通過ZoomInSubfigure放大關鍵區域，再用OCR精準讀取數值，最終正確計算出差異，而直接解讀的模型則容易出錯。
• 折線圖趨勢 (下)：利用Point定位數據點，DrawVerticalLineByX輔助比較，準確找出趨勢相同的類別。

△V-ToolRL (上側工具輔助) vs GPT-4.1 (下側直接解讀)

這些案例生動地展示了V-ToolRL如何通過結構化的工具調用，實現比直接視覺解讀更準確、更可解釋的推理。

小結一下，OpenThinkIMG框架的核心貢獻在于：

1、一個開放、強大的工具部署與訓練平臺：解決了工具集成和智能體訓練的難題。

2、內置高效數據生成方法：為模型訓練提供高質量“燃料”。

3、V-ToolRL作為核心訓練算法：使AI能夠真正學會自主、智能地使用視覺工具。

團隊表示，OpenThinkIMG將為開發能夠真正“用圖像思考”的下一代AI智能體提供堅實的基礎設施。

未來，他們將繼續擴展OpenThinkIMG支持的工具和模型，探索更復雜的任務場景，并期待與社區共同推動這一激動人心的領域向前發展。

論文第一作者蘇肇辰為蘇州大學三年級研究生，香港科技大學準博士生，在NeurIPS、ACL等國際頂級會議上發表多篇研究成果。項目通訊作者為港中文成宇教授。

技術報告：
https://arxiv.org/pdf/2505.08617
GitHub倉庫：
https://github.com/zhaochen0110/OpenThinkIMG
數據集和模型：
https://huggingface.co/collections/Warrieryes/openthinkimg-68244a63e97a24d9b7ffcde9