當AI代理從簡單的問答工具進化為能夠處理復雜任務的"深度代理"時，如何評估它們的表現就成了一個全新的挑戰。

過去一個月，LangChain團隊在Deep Agents框架上構建了四款實際應用，并在這個過程中積累了大量評估經驗。

這四款應用分別是：DeepAgents CLI（編碼代理）、LangSmith Assist（應用內智能助手）、Personal Email Assistant（個人郵件助手）以及Agent Builder（無代碼代理構建平臺）。

今天，我們就來深入解讀LangChain團隊總結的五大評估模式。

概念速覽

在深入討論之前，先明確幾個核心概念。代理的運行方式可以分為三種：

? 單步執行 - 限制代理只執行一次循環，確定下一步行動

? 完整回合 - 代理完整執行單個輸入，可能包含多次工具調用

? 多輪對話 - 代理多次完整執行，模擬用戶與代理的多輪交互

圖片

而我們可以測試的內容包括：

• 軌跡（代理調用的工具序列及參數）
  
• 最終響應（代理返回給用戶的最終結果）
  
• 其他狀態（代理運行過程中生成的文件和產物）。

經驗一：每個測試用例都需要定制邏輯

傳統的LLM評估流程非常直接：構建數據集、編寫評估器、運行應用程序并打分.每個數據點都以相同的方式處理——通過相同的應用邏輯，用相同的評估器打分。

但Deep Agents打破了這個假設。你不僅要測試最終消息，還需要針對代理的軌跡和狀態進行特定斷言。每個數據點的"成功標準"可能都不同。

舉個具體的例子：假設你有一個日程安排代理，它能夠記住用戶偏好。用戶告訴代理"記住永遠不要在早上9點前安排會議"。如何驗證這個功能正常工作？

你需要編寫斷言來驗證：

? 代理是否調用了edit_file工具來更新memories.md文件

? 代理是否在最終消息中確認了記憶更新

? memories.md文件是否確實包含了關于不安排早會的信息

LangSmith的Pytest和Vitest集成正是為此設計的。你可以為每個測試用例對代理的軌跡、最終消息和狀態編寫不同的斷言，并將結果自動記錄到實驗中，方便追蹤和調試。

經驗二：單步評估既高效又有價值

在LangChain團隊的Deep Agents評估中，約一半的測試用例都是單步評估。

核心問題很簡單：在特定的輸入消息序列之后，LLM會立即決定做什么？

這種方式特別適合驗證代理是否在特定場景中調用了正確的工具并使用了正確的參數。典型的測試場景包括：

? 代理是否調用了正確的工具來搜索會議時間？

? 代理是否檢查了正確的目錄內容？

? 代理是否更新了記憶？

回歸問題往往發生在單個決策點，而不是整個執行序列中。

如果使用LangGraph，它的流式處理能力允許你在單次工具調用后中斷代理來檢查輸出——這樣可以在早期發現問題，無需運行完整的代理序列。

通過在tools節點前手動引入斷點（使用interrupt_before參數），你可以輕松運行代理的單步執行，然后檢查該步驟后的狀態并進行斷言。

經驗三：完整回合提供全景視角

如果說單步評估是"單元測試"，確保代理在特定場景中采取預期行動，那么完整代理回合就是"集成測試"——它展示了代理端到端行動的完整圖景。

圖片

完整代理回合可以從多個維度測試代理行為：

軌跡評估：驗證某個特定工具在執行過程中被調用了，但不關心具體是在什么時候調用的。比如在日程安排場景中，調度器可能需要多次工具調用才能找到適合所有參與者的時間段。

圖片

最終響應評估：在某些情況下，最終輸出的質量比代理采取的具體路徑更重要。LangChain團隊發現，對于編碼和研究等開放性任務，這一點尤為明顯。

圖片

其他狀態評估：某些代理會創建產物而不是以聊天格式回復用戶。對于編碼代理，可以讀取并測試代理編寫的文件；對于研究代理，可以斷言代理是否找到了正確的鏈接或來源。

LangSmith可以將完整代理回合以追蹤（trace）的形式展示，你可以看到延遲和token使用等高級指標，同時也能深入分析每個模型調用或工具調用的具體步驟。

經驗四：多輪對話模擬真實交互

某些場景需要測試代理在多輪對話中的表現——多個連續的用戶輸入。

圖片

但這里有個挑戰：如果你簡單地硬編碼一系列輸入，而代理偏離了預期路徑，后續的硬編碼用戶輸入可能就不再合理了。

LangChain團隊的解決方案是在Pytest和Vitest測試中添加條件邏輯：

? 運行第一輪，檢查代理輸出

? 如果輸出符合預期，運行下一輪

? 如果不符合預期，提前終止測試

這種方法讓團隊能夠運行多輪評估，而無需建模代理的每個可能分支。如果想單獨測試第二輪或第三輪，只需用適當的初始狀態設置測試起點即可。

經驗五：環境設置至關重要

Deep Agents是有狀態的，設計用于處理復雜的長時間運行任務——這通常需要更復雜的評估環境。

與簡單的LLM評估（環境僅限于幾個通常無狀態的工具）不同，Deep Agents需要為每次評估運行提供全新、干凈的環境，以確保結果可復現。

編碼代理是最好的例子。

Harbor為TerminalBench提供了一個運行在專用Docker容器或沙箱中的評估環境。對于DeepAgents CLI，LangChain團隊采用了更輕量級的方法：為每個測試用例創建一個臨時目錄，并在其中運行代理。

核心要點：Deep Agent評估需要在每次測試時重置環境——否則你的評估會變得不穩定且難以復現。

還有一個實用技巧：模擬API請求。

LangSmith Assist需要連接真實的LangSmith API，針對實時服務運行評估既慢又昂貴。更好的做法是將HTTP請求錄制到文件系統，然后在測試執行時回放。Python可以使用vcr庫，JavaScript可以通過Hono應用代理fetch請求。

寫在最后

以上五大評估模式是LangChain團隊在構建Deep Agents應用過程中總結的核心經驗。

你的具體應用可能只需要其中的一部分——關鍵是評估框架要足夠靈活，能夠適應不同的測試需求。

隨著AI代理越來越復雜，評估方法也必須相應演進。從定制測試邏輯到環境隔離，從單步驗證到多輪模擬，每一個環節都需要精心設計。

如果你正在構建深度代理并著手評估工作，不妨從LangSmith的測試集成開始，逐步建立起適合你的評估體系。