作者 | Bill Doerrfeld
編譯 | 云昭
出品 | 51CTO技術棧（微信號：blog51cto）
操作 Windows 程序、自動對賬發(fā)票、預訂航班和酒店——這些只是新一代大型語言模型（LLMs）為 AI 智能體帶來的眾多可能性中的幾個。研究人員將這一階段的進化稱為“大型行動模型（Large Action Models）”，簡稱 LAMs。
迄今為止，LLM 是無狀態(tài)的——它們無法自行采取行動、適應環(huán)境或與工具交互。但 LAMs 的出現(xiàn)，正在使智能體能夠執(zhí)行更復雜的操作，甚至能在圖形用戶界面（GUI）中自主導航。
IT 服務公司 Xebia 的集團董事總經理 Preetpal Singh 在接受采訪時表示：“LAM 是 AI 系統(tǒng)發(fā)展中的一個關鍵轉折點，它標志著 AI 從被動應答者向自主操作者的躍遷。”
實際上，LAM 正在將行業(yè)從“生成式 AI”引導向“智能體 AI”。
xtype（一家 ServiceNow 多實例管理平臺公司）的產品營銷負責人 Scott Willson 也表示：“AI 一直需要一個‘執(zhí)行引擎’，LAM 正是生成式 AI 對這一需求的回應。”
1.什么是大型行動模型？
LAM 是在 LLM 基礎上訓練而成的，專注于“行動”任務，并具備真實的外部數(shù)據(jù)與系統(tǒng)連接能力。這意味著，LAM 驅動的智能體遠比普通 LLM 更強大——后者僅限于推理、檢索和文本生成。
MinIO（對象存儲系統(tǒng)）的 AI 解決方案工程師 Keith Pijanowski 表示：“當你在討論 LAM，其實你就是在談智能體。LAM 實際上是智能體的大腦。”
與傳統(tǒng) LLM 面向通用用途、訓練數(shù)據(jù)來源廣泛不同，LAM 更注重任務導向。Imagine Learning（教育平臺）的 AI 事務副總裁 Jason Fournier 指出：“LAM 是將 LLM 微調，使其在推薦達成目標的行動方面表現(xiàn)更優(yōu)。”
目前的一些 LAM 實踐案例包括：
- 微軟研究人員開發(fā)了可在 Office 中執(zhí)行任務的 LAM（來源：The Decoder）；
- Orby 推出了一款用于企業(yè)任務自動化的 LAM；
- CogAgent 是一個開源模型，設計用于在 GUI 中執(zhí)行任務；
- 加州大學伯克利分校發(fā)布了 Gorilla，一個在 RAG（檢索增強生成）基礎上擴展運行時、執(zhí)行行動的微調模型。
目前學界仍在積極研究 LAM，而業(yè)界對其定義尚未統(tǒng)一。盡管名稱五花八門，許多被稱為“可調用工具的 LLM”或“智能體框架”的項目，本質上都屬于 LAM 范疇。
例如，OpenAI 最近在其 Responses API 中新增了“計算機操作”功能，允許開發(fā)者引導 AI 執(zhí)行點擊、滾動等屏幕上的操作。雖然 OpenAI 沒有使用 LAM 這一術語，但這一功能正體現(xiàn)了“AI 行動力”的整體趨勢。
微軟研究人員在去年12月發(fā)布的一篇關于 LAM 的研究摘要中寫道：“人們對超越語言助手、能執(zhí)行現(xiàn)實任務的智能體系統(tǒng)需求正在快速增長。”而今年5月更新的另一項研究則描繪了一種“以 LLM 為大腦的新一代 GUI 智能體”。
2.LAM 如何推動智能體發(fā)展？
在傳統(tǒng)的企業(yè)自動化中，人們依賴于“機器人流程自動化（RPA）”，通過模擬點擊、滾動、復制文本等用戶行為來完成重復任務。而 LAM 正在走得更遠。
不同于依賴硬編碼邏輯的 RPA，基于 LAM 的智能體可以在運行時收集信息，甚至是那些在流程設計時尚不存在的數(shù)據(jù)。Pijanowski 表示：“這更像是一種動態(tài)業(yè)務邏輯。”
Willson 則認為 LAM 比 RPA “強太多了”：“……”
Willson 認為 LAM 的能力已經遠超 RPA：“它不是根據(jù)固定腳本去做事，而是實時推理，適應不同場景。RPA 是靜態(tài)的，而 LAM 是動態(tài)的。”
這使得基于 LAM 的智能體比傳統(tǒng)系統(tǒng)更能適應變化的業(yè)務環(huán)境和用戶需求。例如，它們可以：
- 在操作過程中根據(jù)最新上下文調整執(zhí)行策略；
- 主動判斷執(zhí)行哪個工具或 API；
- 處理無法預料的異常情況。
3.實現(xiàn) LAM 的關鍵構件
目前的 LAM 系統(tǒng)，往往由以下幾個關鍵構件組成：
- 多模態(tài)感知能力：能讀取屏幕、識別按鈕、理解圖形界面。
- 動作規(guī)劃與執(zhí)行模塊：基于任務目標生成一系列操作指令，比如點擊、鍵入、滾動等。
- 實時環(huán)境反饋機制：能根據(jù)執(zhí)行結果即時修正或重新規(guī)劃步驟。
- 與外部系統(tǒng)的連接能力：調用 API、讀寫數(shù)據(jù)庫、發(fā)送請求等。
這些能力使 LAM 成為真正意義上的“AI 操作員”，可以輔助甚至替代人類在桌面環(huán)境、網頁、企業(yè)內部系統(tǒng)等界面中執(zhí)行任務。
4.誰在推進 LAM？
目前，除了微軟、OpenAI 和一些學術機構之外，還有越來越多創(chuàng)業(yè)公司和開源社區(qū)也在推動 LAM 的實踐。比如：
- AutoGPT 和 AgentGPT 的演化，雖然主要聚焦在文本流程自動化，但也逐步開始探索 GUI 操作；
- Orby 和 Cognosys 等公司，則專注于企業(yè)環(huán)境下的 LAM 商業(yè)化落地；
- GitHub 上涌現(xiàn)出大量“Auto Agent Framework”，正在嘗試將 LAM 和 GUI 控制統(tǒng)一集成。
盡管這一領域仍在早期階段，但它可能比“僅生成文本”的 AI 革命更具現(xiàn)實影響力，因為它直接進入了人類工作流的執(zhí)行層。
5.從語言模型到行動模型，AI 的下一步是什么？
我們曾用 LLM 革命性地解決了“理解”和“表達”的問題，現(xiàn)在 LAM 正試圖解決“執(zhí)行”的問題。
就像 Keith Pijanowski 所說：“語言模型是 AI 的大腦，而行動模型才是 AI 的雙手和雙腳。”
隨著更多 GUI-aware、具備系統(tǒng)訪問能力的 LAM 被開發(fā)出來，我們將看到 AI 真正開始動手做事——從寫郵件、處理表格，到登錄系統(tǒng)、分析報表、執(zhí)行指令。
也許未來，企業(yè)的每個部門都會配有一個“數(shù)字助手”，不再只是回答你問題，而是真正替你完成任務。
