文章摘要

本文系統(tǒng)性地綜述了AI智能體記憶系統(tǒng)的最新研究進(jìn)展，提出了"形式-功能-動(dòng)態(tài)"三維分類(lèi)框架。研究指出記憶是基礎(chǔ)模型驅(qū)動(dòng)的智能體的核心能力，支撐長(zhǎng)期推理、持續(xù)適應(yīng)和復(fù)雜環(huán)境交互。文章深入探討了記憶的三種主要形式、三類(lèi)功能角色及其演化機(jī)制，為未來(lái)智能體研究提供了系統(tǒng)性的理論基礎(chǔ)。

一、引言：記憶為何成為AI智能體的核心能力

過(guò)去兩年，我們見(jiàn)證了大語(yǔ)言模型（LLMs）向強(qiáng)大AI智能體的驚人演化。這些由基礎(chǔ)模型驅(qū)動(dòng)的智能體在深度研究、軟件工程、科學(xué)發(fā)現(xiàn)等多個(gè)領(lǐng)域展現(xiàn)出卓越進(jìn)展，不斷推動(dòng)人工通用智能（AGI）的發(fā)展軌跡。

在智能體的諸多能力中——推理、規(guī)劃、感知、記憶和工具使用——記憶作為基石能力脫穎而出。它明確地將靜態(tài)的、參數(shù)無(wú)法快速更新的LLMs轉(zhuǎn)化為能夠通過(guò)環(huán)境交互持續(xù)適應(yīng)的智能體。從應(yīng)用角度看，個(gè)性化聊天機(jī)器人、推薦系統(tǒng)、社會(huì)模擬和金融調(diào)查等眾多領(lǐng)域都依賴(lài)于智能體處理、存儲(chǔ)和管理歷史信息的能力。從發(fā)展角度看，AGI研究的核心愿景之一就是賦予智能體通過(guò)環(huán)境交互持續(xù)進(jìn)化的能力，而這一能力從根本上依賴(lài)于智能體記憶。

為什么需要新的分類(lèi)體系？

盡管已有一些綜述提供了寶貴的智能體記憶概述，但現(xiàn)有分類(lèi)體系存在兩大局限：

1. 現(xiàn)有分類(lèi)的局限性：早期分類(lèi)體系在諸多方法論快速進(jìn)展之前建立，無(wú)法完全反映當(dāng)前研究的廣度和復(fù)雜性。例如，2025年出現(xiàn)的新方向——從過(guò)往經(jīng)驗(yàn)中提煉可復(fù)用工具的記憶框架，或記憶增強(qiáng)的測(cè)試時(shí)擴(kuò)展方法——在早期分類(lèi)方案中代表性不足。?
2. 概念碎片化：隨著記憶相關(guān)研究的爆炸性增長(zhǎng)，概念本身變得日益寬泛和碎片化。聲稱(chēng)研究"智能體記憶"的論文在實(shí)現(xiàn)方式、目標(biāo)和基本假設(shè)上常常截然不同。各種術(shù)語(yǔ)（聲明性、情景性、語(yǔ)義性、參數(shù)化記憶等）的泛濫進(jìn)一步模糊了概念清晰度。

圖1展示了按照"形式-功能-動(dòng)態(tài)"統(tǒng)一分類(lèi)體系組織的智能體記憶全景圖，將記憶構(gòu)件按其主要形式和功能定位，并映射代表性系統(tǒng)到此分類(lèi)體系中。

二、核心概念：形式化智能體與記憶系統(tǒng)

2.1 基于LLM的智能體系統(tǒng)形式化定義

智能體與環(huán)境：設(shè)I = {1, ..., N}表示智能體的索引集，其中N=1對(duì)應(yīng)單智能體情況，N>1代表多智能體設(shè)置。環(huán)境由狀態(tài)空間S刻畫(huà)，在每個(gè)時(shí)間步t，環(huán)境根據(jù)受控隨機(jī)轉(zhuǎn)移模型演化：

s_{t+1} ~ Ψ(s_{t+1} | s_t, a_t)

每個(gè)智能體i接收觀察值：

o_t^i = O^i(s_t, h_t^i, Q)

其中h_t^i表示智能體i可見(jiàn)的交互歷史部分，Q表示任務(wù)規(guī)范（如用戶(hù)指令、目標(biāo)描述）。

動(dòng)作空間：LLM智能體的一個(gè)顯著特征是其異構(gòu)動(dòng)作空間，包括：

• 自然語(yǔ)言生成（推理、解釋、響應(yīng)）
• 工具調(diào)用動(dòng)作（API、搜索引擎、計(jì)算器）
• 規(guī)劃動(dòng)作（任務(wù)分解、執(zhí)行計(jì)劃）
• 環(huán)境控制動(dòng)作（導(dǎo)航、編輯）
• 通信動(dòng)作（智能體間協(xié)作）?

2.2 智能體記憶系統(tǒng)的形式化

記憶系統(tǒng)表示為一個(gè)演化的記憶狀態(tài)：

M_t ∈ M

其中M表示可接受的記憶配置空間。M_t可以采取文本緩沖區(qū)、鍵值存儲(chǔ)、向量數(shù)據(jù)庫(kù)、圖結(jié)構(gòu)或任何混合表示的形式。

記憶生命周期的三大操作符：

1. 記憶形成（Formation）：

M_t+1^form = F(M_t, φ_t)

選擇性地將信息工件φ_t（工具輸出、推理軌跡、部分計(jì)劃等）轉(zhuǎn)化為記憶候選。

2. 記憶演化（Evolution）：

M_{t+1} = E(M_t+1^form)

將形成的記憶候選整合到現(xiàn)有記憶庫(kù)中，可能包括合并冗余條目、解決沖突、丟棄低效用信息或重構(gòu)記憶。

3. 記憶檢索（Retrieval）：

m_t^i = R(M_t, o_t^i, Q)

構(gòu)建任務(wù)感知查詢(xún)并返回相關(guān)記憶內(nèi)容，檢索到的信號(hào)m_t^i被格式化供LLM策略直接使用。

2.3 智能體記憶與相關(guān)概念的比較

圖2通過(guò)維恩圖展示了智能體記憶與LLM記憶、RAG和上下文工程之間的共性與區(qū)別。

2.3.1 智能體記憶 vs. LLM記憶

從高層次看，智能體記憶幾乎完全包含了傳統(tǒng)意義上的LLM記憶。2023年以來(lái)，許多自稱(chēng)"LLM記憶機(jī)制"的工作在現(xiàn)代術(shù)語(yǔ)下更適合理解為早期的智能體記憶實(shí)例。這種重新詮釋源于"LLM智能體"概念本身的歷史模糊性。

重疊部分：

• 少樣本提示可視為長(zhǎng)期記憶形式
• 自我反思和迭代精煉對(duì)應(yīng)短期任務(wù)內(nèi)記憶
• KV壓縮和上下文窗口管理在單任務(wù)過(guò)程中保留顯著信息時(shí)，發(fā)揮短期記憶機(jī)制作用?

區(qū)別：直接干預(yù)模型內(nèi)部狀態(tài)的記憶機(jī)制——如更長(zhǎng)有效上下文的架構(gòu)修改、緩存重寫(xiě)策略、循環(huán)狀態(tài)持久化——更適合歸類(lèi)為L(zhǎng)LM記憶而非智能體記憶。它們的目標(biāo)是擴(kuò)展或重組底層模型的表示能力，而非為決策智能體提供可演化的外部記憶庫(kù)。

2.3.2 智能體記憶 vs. RAG

在概念層面，智能體記憶和檢索增強(qiáng)生成（RAG）表現(xiàn)出相當(dāng)大的重疊：兩者都構(gòu)建、組織和利用輔助信息存儲(chǔ)來(lái)擴(kuò)展LLM/智能體的能力。然而，兩個(gè)范式在歷史上被應(yīng)用的場(chǎng)景所區(qū)分。

傳統(tǒng)區(qū)別：

• RAG：主要用靜態(tài)知識(shí)源增強(qiáng)LLM，為單次推理任務(wù)服務(wù)
• 智能體記憶：在智能體與環(huán)境的持續(xù)交互中實(shí)例化，不斷將智能體自身動(dòng)作和環(huán)境反饋產(chǎn)生的新信息納入持久記憶庫(kù)?

邊界模糊化：隨著檢索系統(tǒng)本身變得更動(dòng)態(tài)，這一邊界日益模糊。實(shí)際上，更現(xiàn)實(shí)的區(qū)分在于任務(wù)領(lǐng)域：

• RAG主要應(yīng)用于經(jīng)典的多跳和知識(shí)密集型基準(zhǔn)測(cè)試（HotpotQA、2WikiMQA、MuSiQue）
• 智能體記憶系統(tǒng)通常在需要持續(xù)多輪交互、時(shí)間依賴(lài)或環(huán)境驅(qū)動(dòng)適應(yīng)的場(chǎng)景中評(píng)估（LoCoMo、LongMemEval、GAIA、SWE-bench等）?

三、記憶的形式：三種主流實(shí)現(xiàn)

智能體記憶系統(tǒng)可以通過(guò)多種架構(gòu)或表示形式實(shí)現(xiàn)。本節(jié)從形式角度識(shí)別三種主流記憶實(shí)現(xiàn)：令牌級(jí)記憶、參數(shù)化記憶和潛在記憶。

3.1 令牌級(jí)記憶（Token-level Memory）

令牌級(jí)記憶是最直觀和廣泛采用的形式，它將記憶表示為可以直接注入LLM輸入上下文的離散令牌序列。這種形式包括：

文本緩沖區(qū)：最簡(jiǎn)單的實(shí)現(xiàn)，存儲(chǔ)原始對(duì)話(huà)歷史或交互日志結(jié)構(gòu)化文本表示：將記憶組織為鍵值對(duì)、列表或?qū)哟谓Y(jié)構(gòu)向量數(shù)據(jù)庫(kù)：使用語(yǔ)義嵌入進(jìn)行高效檢索知識(shí)圖譜：以圖結(jié)構(gòu)表示實(shí)體關(guān)系和事實(shí)知識(shí)

優(yōu)勢(shì)：

• 實(shí)現(xiàn)簡(jiǎn)單，易于理解和調(diào)試
• 與現(xiàn)有LLM架構(gòu)無(wú)縫集成
• 支持靈活的檢索和更新策略

局限：

• 受上下文窗口限制
• 大規(guī)模存儲(chǔ)的計(jì)算成本高
• 難以捕獲隱式知識(shí)模式?

3.2 參數(shù)化記憶（Parametric Memory）

參數(shù)化記憶通過(guò)直接更新模型參數(shù)來(lái)存儲(chǔ)信息，使記憶成為模型權(quán)重的一部分。這種方法包括：

持續(xù)學(xué)習(xí)：通過(guò)在新數(shù)據(jù)上微調(diào)來(lái)更新模型知識(shí)參數(shù)高效調(diào)優(yōu)：使用LoRA、Adapter等技術(shù)進(jìn)行局部參數(shù)更新記憶增強(qiáng)架構(gòu)：專(zhuān)門(mén)設(shè)計(jì)用于動(dòng)態(tài)參數(shù)更新的模型結(jié)構(gòu)

優(yōu)勢(shì)：

• 不占用推理時(shí)的上下文窗口
• 可以編碼復(fù)雜的隱式知識(shí)
• 推理效率高

局限：

• 更新成本高，需要重新訓(xùn)練
• 容易發(fā)生災(zāi)難性遺忘
• 難以追蹤和解釋特定記憶?

3.3 潛在記憶（Latent Memory）

潛在記憶在令牌級(jí)和參數(shù)化記憶之間提供了一個(gè)中間方案，通過(guò)學(xué)習(xí)的潛在表示來(lái)編碼記憶狀態(tài)。這包括：

連續(xù)向量狀態(tài)：將記憶表示為可學(xué)習(xí)的向量記憶增強(qiáng)注意力：通過(guò)專(zhuān)門(mén)的注意力機(jī)制訪(fǎng)問(wèn)記憶神經(jīng)記憶網(wǎng)絡(luò)：使用神經(jīng)網(wǎng)絡(luò)模塊顯式建模記憶操作

優(yōu)勢(shì)：

• 比參數(shù)化記憶更靈活
• 比令牌級(jí)記憶更緊湊
• 可以通過(guò)端到端訓(xùn)練優(yōu)化

局限：

• 實(shí)現(xiàn)復(fù)雜度高
• 可解釋性較差
• 需要專(zhuān)門(mén)的訓(xùn)練策略

四、記憶的功能：超越時(shí)間維度的分類(lèi)

傳統(tǒng)的長(zhǎng)期/短期記憶分類(lèi)已不足以捕捉當(dāng)代智能體記憶系統(tǒng)的多樣性。本節(jié)提出更細(xì)粒度的功能分類(lèi)，區(qū)分事實(shí)記憶、經(jīng)驗(yàn)記憶和工作記憶。

4.1 事實(shí)記憶（Factual Memory）

事實(shí)記憶記錄智能體與用戶(hù)和環(huán)境交互中的知識(shí)，包括：

用戶(hù)偏好和畫(huà)像：個(gè)性化信息、興趣、習(xí)慣世界知識(shí)：從交互中學(xué)習(xí)的事實(shí)、規(guī)則、約束關(guān)系網(wǎng)絡(luò)：實(shí)體間的關(guān)系和屬性

應(yīng)用場(chǎng)景：

• 個(gè)性化推薦系統(tǒng)
• 長(zhǎng)期對(duì)話(huà)系統(tǒng)
• 知識(shí)圖譜構(gòu)建

關(guān)鍵挑戰(zhàn)：

• 知識(shí)更新和一致性維護(hù)
• 隱私保護(hù)和數(shù)據(jù)安全
• 跨領(lǐng)域知識(shí)遷移?

4.2 經(jīng)驗(yàn)記憶（Experiential Memory）

經(jīng)驗(yàn)記憶通過(guò)任務(wù)執(zhí)行逐步增強(qiáng)智能體的問(wèn)題解決能力，包括：

成功案例庫(kù)：存儲(chǔ)有效的解決方案和策略失敗經(jīng)驗(yàn)：記錄錯(cuò)誤和避免策略工具使用經(jīng)驗(yàn)：積累工具調(diào)用模式和效果

應(yīng)用場(chǎng)景：

• 軟件開(kāi)發(fā)智能體
• 復(fù)雜任務(wù)規(guī)劃
• 持續(xù)學(xué)習(xí)系統(tǒng)

關(guān)鍵挑戰(zhàn)：

• 經(jīng)驗(yàn)泛化能力
• 過(guò)擬合特定任務(wù)
• 負(fù)面經(jīng)驗(yàn)的有效利用?

4.3 工作記憶（Working Memory）

工作記憶管理單個(gè)任務(wù)實(shí)例執(zhí)行期間的工作空間信息，包括：

中間推理狀態(tài)：思維鏈、推理步驟子目標(biāo)跟蹤：任務(wù)分解和進(jìn)度監(jiān)控臨時(shí)變量：計(jì)算過(guò)程中的中間結(jié)果

應(yīng)用場(chǎng)景：

• 多步推理任務(wù)
• 復(fù)雜問(wèn)題分解
• 交互式任務(wù)執(zhí)行

關(guān)鍵挑戰(zhàn)：

• 工作空間容量限制
• 信息選擇和遺忘策略
• 與長(zhǎng)期記憶的協(xié)調(diào)

五、記憶的動(dòng)態(tài)機(jī)制：形成、檢索與演化

記憶不是靜態(tài)的存儲(chǔ)，而是動(dòng)態(tài)演化的系統(tǒng)。本節(jié)分析記憶如何隨時(shí)間形成、檢索和演化。

5.1 記憶形成

記憶形成決定哪些信息值得保留，包括：

選擇性編碼：過(guò)濾噪聲，提取關(guān)鍵信息抽象與總結(jié)：將詳細(xì)交互壓縮為可復(fù)用知識(shí)結(jié)構(gòu)化組織：將記憶組織為便于檢索的結(jié)構(gòu)

技術(shù)方法：

• 基于重要性的采樣
• 自動(dòng)摘要和提煉
• 層次化記憶組織?

5.2 記憶檢索

高效的記憶檢索對(duì)智能體性能至關(guān)重要，包括：

語(yǔ)義檢索：基于相似度的向量搜索結(jié)構(gòu)化查詢(xún)：在知識(shí)圖譜上的遍歷上下文感知檢索：根據(jù)當(dāng)前任務(wù)動(dòng)態(tài)選擇相關(guān)記憶

優(yōu)化策略：

• 多模態(tài)檢索融合
• 重排序和精煉
• 檢索結(jié)果的壓縮?

5.3 記憶演化

記憶系統(tǒng)需要持續(xù)演化以保持有效性，包括：

知識(shí)整合：合并新舊記憶，解決沖突遺忘機(jī)制：刪除過(guò)時(shí)或低價(jià)值信息重組優(yōu)化：重構(gòu)記憶結(jié)構(gòu)提高效率

關(guān)鍵技術(shù)：

• 增量更新算法
• 沖突檢測(cè)與解決
• 自適應(yīng)遺忘策略

六、資源與工具：基準(zhǔn)測(cè)試與開(kāi)源框架

6.1 代表性基準(zhǔn)測(cè)試

長(zhǎng)上下文對(duì)話(huà)評(píng)估：

• LoCoMo：長(zhǎng)期對(duì)話(huà)記憶評(píng)估
• LongMemEval：長(zhǎng)期記憶評(píng)估基準(zhǔn)

復(fù)雜問(wèn)題解決：

• GAIA：通用AI助手基準(zhǔn)
• XBench：跨領(lǐng)域能力測(cè)試
• BrowseComp：瀏覽和信息綜合

代碼智能體任務(wù)：

• SWE-bench Verified：軟件工程基準(zhǔn)

持續(xù)學(xué)習(xí)：

• StreamBench：流式學(xué)習(xí)基準(zhǔn)?

6.2 開(kāi)源框架

目前多個(gè)開(kāi)源框架支持智能體記憶系統(tǒng)的開(kāi)發(fā)和部署，為研究者和開(kāi)發(fā)者提供了便利的工具。這些框架通常提供：

• 記憶存儲(chǔ)和管理接口
• 檢索算法實(shí)現(xiàn)
• 向量數(shù)據(jù)庫(kù)集成
• 多智能體協(xié)調(diào)機(jī)制

代表性框架:

LangChain/LangGraph：提供靈活的記憶模塊和鏈?zhǔn)秸{(diào)用接口，支持多種記憶后端MemGPT：專(zhuān)注于虛擬上下文管理，模擬操作系統(tǒng)級(jí)記憶層次AutoGen：微軟開(kāi)發(fā)的多智能體框架,內(nèi)置對(duì)話(huà)歷史管理ChatDev：面向軟件開(kāi)發(fā)的智能體框架，集成項(xiàng)目級(jí)記憶Semantic Kernel：微軟的企業(yè)級(jí)框架，支持插件化記憶系統(tǒng)

這些框架降低了實(shí)現(xiàn)復(fù)雜記憶機(jī)制的門(mén)檻，加速了從研究原型到實(shí)際應(yīng)用的轉(zhuǎn)化。

七、未來(lái)方向與挑戰(zhàn)

7.1 技術(shù)挑戰(zhàn)

可擴(kuò)展性：隨著交互時(shí)長(zhǎng)增加，記憶規(guī)模呈指數(shù)增長(zhǎng),如何高效檢索和壓縮歷史信息成為關(guān)鍵瓶頸。

一致性維護(hù)：跨會(huì)話(huà)、跨模態(tài)的記憶同步困難,容易產(chǎn)生矛盾信息。

隱私與安全：長(zhǎng)期記憶存儲(chǔ)涉及敏感數(shù)據(jù),需要強(qiáng)化加密和訪(fǎng)問(wèn)控制機(jī)制。

遺忘機(jī)制：如何智能地淘汰過(guò)時(shí)或無(wú)關(guān)信息,避免記憶污染。

7.2 研究方向

神經(jīng)符號(hào)融合：結(jié)合神經(jīng)網(wǎng)絡(luò)的泛化能力與符號(hào)系統(tǒng)的推理能力

終身學(xué)習(xí)：使智能體能夠持續(xù)從交互中學(xué)習(xí),動(dòng)態(tài)更新知識(shí)庫(kù)

情景記憶增強(qiáng)：模擬人類(lèi)情景記憶機(jī)制,提升上下文理解深度

多模態(tài)記憶整合：統(tǒng)一處理文本、圖像、音頻等多源信息

個(gè)性化記憶建模：根據(jù)用戶(hù)特征定制記憶策略,提升交互體驗(yàn)

分布式記憶架構(gòu)：探索多智能體間的協(xié)同記憶共享機(jī)制

7.3 應(yīng)用前景

個(gè)人助理進(jìn)化：從被動(dòng)響應(yīng)到主動(dòng)預(yù)測(cè)用戶(hù)需求

教育領(lǐng)域變革：智能導(dǎo)師系統(tǒng)能追蹤學(xué)習(xí)軌跡,提供個(gè)性化輔導(dǎo)

醫(yī)療健康管理：長(zhǎng)期記錄患者信息,輔助診斷和治療決策

企業(yè)知識(shí)管理：構(gòu)建組織級(jí)記憶系統(tǒng),沉淀業(yè)務(wù)經(jīng)驗(yàn)

八、結(jié)論

AI智能體的記憶系統(tǒng)正從簡(jiǎn)單的上下文緩存演進(jìn)為復(fù)雜的認(rèn)知架構(gòu)。通過(guò)短期、長(zhǎng)期、工作記憶的協(xié)同,智能體獲得了類(lèi)人的連續(xù)性和適應(yīng)性。當(dāng)前的技術(shù)突破雖然令人鼓舞,但距離真正的通用人工智能仍有距離。未來(lái)的研究需要在效率、可解釋性和倫理規(guī)范間尋求平衡。

隨著Transformer架構(gòu)的持續(xù)優(yōu)化、檢索增強(qiáng)技術(shù)的成熟,以及神經(jīng)符號(hào)方法的融合,記憶系統(tǒng)將成為智能體突破當(dāng)前能力邊界的關(guān)鍵突破口。我們有理由相信,具備完善記憶機(jī)制的AI智能體將在更多領(lǐng)域展現(xiàn)出接近甚至超越人類(lèi)的認(rèn)知能力,推動(dòng)人機(jī)協(xié)作進(jìn)入新紀(jì)元。

本文轉(zhuǎn)載自??知識(shí)圖譜科技??，作者：KGGPT