字節跳動開源了多模態AI Agent UI-TARS的最新1.5版本。

與上一代相比，1.5版本在計算機使用、瀏覽器使用和手機使用等基準測試中均表現非常出色。

在計算機使用方面，OSworld測試得分為42.5，高于OpenAI CUA的36.4、Claude 3.7的28以及之前的最高水平38.1（200步）；Windows Agent Arena（50步）得分為42.1，遠超之前的29.8。

瀏覽器使用方面，WebVoyager得分為84.8，接近OpenAI CUA和之前最高水平的87，Online-Mind2web得75.8，優于OpenAI CUA的71、Claude 3.7的62.9和之前的71。手機使用方面，Android World得64.2，高于之前的59.5。

開源地址：??https://github.com/bytedance/UI-TARS??

笑臉：??https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B??

而在 GUI 定位方面，UI-TARS-1.5 相比之前的最高水平有顯著提升，尤其在具有挑戰性的 ScreenSpotPro 基準測試中表現突出。

ScreenSpot-V2測試得 94.2，高于 OpenAI CUA 的 87.9、Claude 3.7 的 87.6 和之前的 91.6；ScreenSpotPro 為61.6，遠超 OpenAI CUA的23.4、Claude 3.7的27.7和之前的43.6。

在推理時間方面，隨著推理時間的延長，UI-TARS-1.5 呈現出良好的擴展趨勢。盡管UI-TARS-1.5 并非專為Deep-research任務設計，例如，在互聯網上進行多步驟信息搜索研究，但在兩個近期具有挑戰性的網頁瀏覽基準測試中表現出了強大的通用性。

在 SimpleQA 測試中，UI-TARS-1.5為83.8，優于GPT-4.5的60，略低于 帶有搜索功能GPT-4o 90；BrowseComp為2.3，高于GPT4.5的0.6和GPT-4o的1.9。

游戲領域是評估多模態智能體復雜推理、決策和適應能力的關鍵測試環境，游戲需要直觀的常識推理和戰略遠見，是測試和展示多模態智能體高級認知能力的理想基準。

為評估 UI-TARS-1.5 的游戲能力，研究人員從poki選取了 14 款不同的游戲，每個模型在每個游戲中最多允許 1000 個交互步驟來生成執行軌跡，并進行多次運行。

結果顯示，UI-TARS-1.5 在這些游戲中均取得了100的成績，而 OpenAI CUA 和 Claude 3.7 在部分游戲中得分為 0 或較低。游戲的長視域特性使其成為評估推理時間可擴展性的理想選擇，UI-TARS-1.5表現出強大的可擴展性和穩定性，隨著交互輪次的增加，仍能保持高性能，展現出其穩健的設計和先進的推理能力。

UI-TARS-1.5能獲得如此出色的性能，“統一的動作建模”是其關鍵創新之一，將語義上等效的動作標準化，從而實現跨平臺的無縫操作和知識遷移。

傳統的GUI自動化工具往往依賴于特定平臺的API或系統級權限來執行操作，這限制了它們的通用性和可擴展性。而UI-TARS的統一動作建模模塊則摒棄了這種依賴，轉而采用一種更為通用和靈活的方法。

研究人員首先對各種GUI操作進行了深入分析，識別出它們的共性和差異。他們發現，盡管不同平臺的操作在具體實現上可能有所不同，但在語義上往往是等效的。例如，無論是使用鼠標在Windows系統中點擊一個按鈕，還是在移動設備上輕觸一個圖標，其核心目的都是觸發一個特定的功能或事件。

基于這一觀察，研究人員設計了一個通用的動作空間，將這些操作抽象為一系列基本動作，如“點擊”、“拖動”、“輸入文本”等。這些基本動作在不同平臺上具有相同的語義含義，但可以根據具體平臺的特性進行適當的調整和優化。

此外，研究人員還引入了一種“動作軌跡增強”技術，進一步提升了智能體的多步操作能力。在實際應用中，許多任務需要模型執行一系列連續的操作才能完成。例如，在一個電商平臺上購買商品可能需要用戶瀏覽商品頁面、選擇商品規格、點擊“加入購物車”按鈕、填寫收貨地址等多個步驟。

為了使智能體能夠更好地理解和執行這類多步任務，研究團隊在數據集中添加了大量包含多個連續操作的軌跡樣本。這些樣本不僅記錄了每個操作的具體內容，還反映了操作之間的邏輯順序和依賴關系。通過學習這些軌跡樣本，模型能夠學會如何將一系列抽象動作組合起來，以完成復雜的任務。

本文轉自 AIGC開放社區  ，作者：AIGC開放社區

原文鏈接:??https://mp.weixin.qq.com/s/EAUrcNzx-34vp4dVact2cQ??