大家好，我是玄姐。

越來越多企業已經落地 AI 智能體應用，我們會不約而同的發現，AI 智能體應用在企業落地 90% 的工作都是工程架構設計（軟件工程），只有 10% 是真正的 AI 大模型。

AI 智能體在企業落地中的每一個組件都是模塊化的，而且逐步達成到了行業標準：比如：LangChain、Spring AI Alibaba 開發編排框架，MCP 通信交互協議等等，這些構成了 AI 智能體的生態系統。

AI 智能體應用落地的生態系統包含14層，從下到上分別為：CPU/GPU 提供商層、基礎設施/基礎層、數據庫、ETL（提取、加載、轉換）層、基礎模型層、模型路由層、AI 智能體協議層、AI 智能體編排層、AI 智能體認證層、AI 智能體可觀測層、工具層、認證層、記憶層、前端層等。

如上圖所示，這14層只有基礎模型層（10%）是 AI 大模型工作，其他13層（90%）都是架構設計工程工作，下文我們對詳細剖析之。

一、AI 智能體生態系統架構設計剖析

0、AI 智能體生態系統總體架構設計

AI 智能體生態系統總體架構設計包含14層，從下到上分別為：CPU/GPU 提供商層、基礎設施/基礎層、數據庫、ETL（提取、加載、轉換）層、基礎模型層、模型路由層、AI 智能體協議層、AI 智能體編排層、AI 智能體認證層、AI 智能體可觀測層、工具層、認證層、記憶層、前端層等。

1、第一層：CPU/GPU 提供商層

這些公司為 AI 智能體提供強大的計算能力，用于訓練、推理和低延遲的執行。

包括硬件廠商英偉達 GPU、谷歌 TPU、華為昇騰系列，以及公有云廠商 Azure、Google Cloud Platform（GCP）、阿里云、騰訊云、華為云等。

2、第二層：基礎設施/基礎層

像容器和編排工具這樣的基礎設施，確保 AI 智能體能夠可擴展、可靠且分布式地部署。

包括 Docker、Kubernetes、Kserve、Knative、Auto Scale VMs。

3、第三層：數據層

AI 智能體需要快速訪問的數據系統，用于存儲記憶、檢索上下文以及在結構化和向量化數據中進行實時決策。

包括 Milvus、Chroma、Pinecone、Neo4j、MongoDB、Elasticsearch、PGVector、MySQL 等。

4、第四層：ETL（提取、加載、轉換）層

這些平臺從各種來源收集原始數據，并將其轉換成 AI 智能體可以使用的格式。

包括 Datavolo、Noodle.ai、Verodata 等。

5、第五層：基礎模型層

包括大型和小型語言模型（LLMs 和 SLMs），它們構成了 AI 智能體的認知核心，支持推理、對話和行動。

包括 GPT、DeepSeek、Qwen、Claude、Grok、Llama 等大模型，以及 Yolox、PaddleOCR 等小模型。

6、第六層：模型路由層

根據成本、延遲和輸出質量，將任務分配給最適合的模型，從而提高效率。

包括 Martian、OpenRouter、Higress、Not Diamond 等。

7、第七層：AI 智能體協議層

定義 AI 智能體之間的交互和通信方式。像 MCP、A2A、AG-UI、ANP、ACP 這樣的協議，有助于結構化的多 AI 智能體協作和上下文管理。

8、第八層：AI 智能體編排層

使 AI 智能體能夠執行工作流、與其他 AI 智能體交互，并在工具和環境中進行協調。

包括 Spring AI Alibaba、LangGraph、Autogen、LlamaIndex、Swarm、Eino 等。

9、第九層：AI 智能體認證層

處理 AI 智能體在可信生態系統內的安全身份、訪問控制和基于角色的權限。

包括 AWS AgentCore Identity、Azure Entry Agent ID 等。

10、第十層：AI 智能體可觀測層

通過遙測、日志、反饋循環和分析來跟蹤 AI 智能體的行為，以便持續改進和調試 AI 智能體。

包括 LangSmith、Langfuse、Arize、OpenTelemetry、Helicone、Opik 等。

11、第十一層：AI 智能體工具層

AI 智能體使用的 API、搜索和外部工具，用于獲取實時數據、自動化決策或跨領域集成。

包括 Google Search、DuckDuckGo、Sorper、Exa 等。

12、第十二層：認證層

通過安全的身份驗證和用戶訪問控制層來保護 AI 智能體的操作。

包括 Auth0、Okta、OpenFGA、ANON 等。

13、第十三層：記憶層

存儲之前的交互和上下文知識，幫助 AI 智能體隨著時間的推移進行個性化和適應。

包括 Zep、Mem0、Letta、Cgnee 等。

14、第十四層：前端層

用戶與 AI 智能體無縫交互的 UI 組件，比如： Web 應用和聊天界面。

包括 Streamlit、Flask、gradio、NEXT 等。

總之，以上就是 AI 智能體應用在企業落地的生態系統，可以根據企業總的業務場景靈活選擇每層中的工具和技術，但是并不是所有列出的技術都需要用來構建一個有效的 AI 智能體應用中。

好了，這就是我今天想分享的內容。

本文轉載自??玄姐聊AGI??  作者：玄姐