論文(Agent2: An Agent-Generates-Agent Framework for Reinforcement Learning Automation)使用自然語言和環境代碼來自動生成有效的強化學習解決方案，無需人工干預。可以將其視為強化學習領域的AutoML工具。Agent2本質上是一個為你構建強化學習agent的agent系統。你不需要手動選擇狀態、動作、獎勵、算法、網絡和超參數，只需提供任務描述和（可選的）一些環境代碼。該系統（由LLM驅動）端到端地設計agent，測試它，修復問題，并持續優化直到有效運行。

圖片

工作原理：雙agent設置：

生成器agent = 讀取任務、分析任務并輸出強化學習agent設計的AI工程師

目標agent = 接受訓練和優化的強化學習agent

圖片

兩階段流水線

1.任務→MDP映射：將你的問題轉換為清晰的強化學習設置（狀態、動作、獎勵）。它可以修補錯誤的環境定義，重新設計稀疏或棘手的獎勵。

2.算法優化：選擇正確的算法（PPO、SAC、TD3、MAPPO等），設計神經網絡架構，調優超參數，并將所有內容集成到配置文件中（YAML導出）。

反饋循環：如果出現問題（代碼錯誤、訓練曲線不佳、收斂性差），生成器agent使用日志和指標來自動修復或調整設置。

這節省大量手動試錯時間。降低非強化學習專家開發者的門檻。產生的agent實際上超越了強基線：Ant-v4 (TD3)：獎勵提升55%（3853 → 5981）；Humanoid-v4 (SAC)：+45%（4682 → 6788）；MetaDrive (SAC)：+46%（178 → 260）； SMAC 8m勝率：0.77 → 0.94

圖片

圖片

圖片

通過MCP服務標準化agent創建，并使用LLM對代碼、日志和配置進行推理，Agent2使強化學習agent設計變得易于訪問且穩健，在單agent和多agent設置中都顯示出樣本效率和最終性能的一致提升。將Agent2視為強化學習領域的AutoML工具：你描述任務，它自動構建和優化agent。對于任何從事機器人學、仿真控制或多agent系統的人來說，這可以節省數周的設置和調優時間。

本文轉載自??AI帝國??，作者：無影寺