編譯 | 沈建苗

審校 | 云昭

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

前不久，ChatGPT推出了長期記憶功能，讓全球用戶為之點贊。

現(xiàn)在，中國隊研究者提出了一種更為SOTA的“記憶管理”方法！同時，開源了！

近日，上海交大和浙江大學等領(lǐng)先機構(gòu)的研究團隊已為AI開發(fā)了第一個“記憶操作系統(tǒng)”，克服了阻礙模型像人類那樣持久記憶和學習的一大難題。

該系統(tǒng)名為MemOS，將記憶視為可以隨時間的推移加以調(diào)度、共享和改進的核心計算資源，類似傳統(tǒng)操作系統(tǒng)管理CPU和存儲資源那樣。

研究論文已于7月4日發(fā)表在arXiv上，表明性能比現(xiàn)有方法有顯著提升，包括與OpenAI的記憶系統(tǒng)相比，處理時間推理任務的表現(xiàn)提升了159%。

研究人員在論文中寫道：“大語言模型（LLM）已成為通用人工智能（AGI）的重要基礎設施，但缺乏明確定義的記憶管理系統(tǒng)卻阻礙了長上下文推理、持續(xù)個性化和知識一致性的發(fā)展。”

圖片

1.AI系統(tǒng)的記憶孤島，RAG為什么不能很好解決

目前的AI系統(tǒng)面臨研究人員所說的“記憶孤島”問題，這個基本的架構(gòu)限制使AI系統(tǒng)無法與用戶保持連貫、長期的關(guān)系。每個對話或會話基本上都從頭開始，模型無法在交互中保留偏好設置、積累的知識或行為模式。這導致了令人沮喪的用戶體驗，因為AI助手在下一次被要求推薦餐廳時，可能會忘記用戶在前一次對話中提到的飲食禁忌。

雖然檢索增強生成（RAG）等一些解決方案試圖通過在對話期間提取外部信息來解決這個問題，但研究人員認為這仍然是“缺乏生命周期控制的無狀態(tài)變通方法”。問題不止簡單的信息檢索來得簡單，關(guān)鍵在于創(chuàng)建可以真正從經(jīng)驗中學習和進化的系統(tǒng)，就像人類記憶一樣。

研究團隊解釋道：“現(xiàn)有模型主要依賴靜態(tài)參數(shù)和短期上下文狀態(tài)，從而限制了在較長時間內(nèi)跟蹤用戶偏好或更新知識的能力。”這種局限在企業(yè)環(huán)境中尤為明顯，AI系統(tǒng)需要在可能持續(xù)數(shù)天乃至數(shù)周的復雜多階段工作流中維護上下文。

2.AI推理任務性能超OpenAI

MemOS通過研究人員所謂的“MemCubes”引入了一種全然不同的方法。MemCube是標準化的記憶單元，可以封裝不同類型的信息，并隨著時間的推移加以組合、遷移和改進。這涉及基于文本的顯式知識和模型內(nèi)的參數(shù)級適應和激活狀態(tài)，從而創(chuàng)建前所未有的統(tǒng)一記憶管理框架。 

圖1. MemCube

在針對評估記憶密集型推理任務的LOCOMO進行基準測試時，MemOS在所有類別中的表現(xiàn)始終優(yōu)于既定的基準方法。相比OpenAI的記憶方法，該系統(tǒng)整體提升了38.98%，在需要跨多次對話銜接信息的復雜推理場景中，提升幅度尤為明顯。

圖片

研究人員稱：“MemOS（MemOS-0630）在所有類別中始終名列第一，優(yōu)于mem0、LangMem、Zep和OpenAI-Memory等強大的基準方法，面對多跳和時間推理等具有挑戰(zhàn)性的任務時差距尤為懸殊?！?/p>

該系統(tǒng)還大幅提高了效率，通過其創(chuàng)新的KV緩存記憶注入機制，在某些配置下，首token時間（time-to-first-token）延遲最多可以縮短94%。

這些性能提升表明，記憶瓶頸是以前未充分理解的一大限制。通過將記憶視為首要計算資源，MemOS 似乎發(fā)掘了以前受架構(gòu)限制的推理能力。

3.這項技術(shù)有望重塑企業(yè)部署AI的方式

這可能會對企業(yè)部署AI帶來變革性的影響，尤其是鑒于企業(yè)日益依賴AI系統(tǒng)與客戶和員工建立復雜、持久的關(guān)系。MemOS 實現(xiàn)了研究人員所說的“跨平臺記憶遷移”，使AI記憶能夠在不同的平臺和設備之間移植，打破了所謂的“記憶孤島”，記憶孤島目前將用戶上下文困在特定的應用場景中。

試想：眼下許多用戶在一個AI平臺中獲得的知識無法轉(zhuǎn)移到另一個AI平臺時所遇到的挫敗感：營銷團隊可能借助與ChatGPT的對話來開發(fā)詳細的客戶用戶角色，但在換成不同的AI工具規(guī)劃營銷活動時，只能從頭開始。MemOS創(chuàng)建了可以在系統(tǒng)之間移動的標準化記憶格式，解決了這個問題。

研究論文還概述了“付費記憶模塊”的潛力，領(lǐng)域主題專家可以將他們的知識打包成可購買的記憶單元。研究人員設想“臨床輪換的醫(yī)學生可能希望研究如何管理罕見的自身免疫疾病。經(jīng)驗豐富的醫(yī)生可以將診斷啟發(fā)方法、提問路徑和典型病例模式封裝到結(jié)構(gòu)化記憶區(qū)”，該記憶區(qū)可以由其他AI系統(tǒng)安裝和使用。

這種市場模式可以從根本上改變專業(yè)知識在AI系統(tǒng)中的分發(fā)和變現(xiàn)方式，為專家創(chuàng)造新的經(jīng)濟機會，同時易于獲得高質(zhì)量的領(lǐng)域主題知識。對于企業(yè)來說，這可能意味著快速部署在特定領(lǐng)域擁有深厚專業(yè)知識的AI系統(tǒng)，不用操心與自定義訓練相關(guān)的傳統(tǒng)成本和時間。

4.架構(gòu)揭秘：與現(xiàn)有方法大有不同

MemOS的技術(shù)架構(gòu)反映了數(shù)十年來從傳統(tǒng)操作系統(tǒng)設計中學到的經(jīng)驗，克服了AI記憶管理方面的獨特挑戰(zhàn)。

該系統(tǒng)采用三層架構(gòu)：用于API調(diào)用的接口層、用于記憶調(diào)度和生命周期管理的操作層，以及用于存儲和治理的基礎設施層。 

圖2. MemOS架構(gòu)示意圖

該系統(tǒng)的MemScheduler組件動態(tài)管理不同類型的記憶：從臨時激活狀態(tài)到永久參數(shù)修改，并根據(jù)使用模式和任務要求選擇最佳存儲和檢索策略。這與當前方法大相徑庭，當前方法通常將記憶視為完全靜態(tài)（嵌入在模型參數(shù)中）或完全短暫（僅限于對話上下文）。

研究人員特別指出：“重點從模型一次學習多少知識變成了模型是否可以將經(jīng)驗轉(zhuǎn)化為結(jié)構(gòu)化記憶并反復檢索和重建，”并描述了對所謂的“Mem訓練”范式的暢想。這種架構(gòu)理念建議從根本上重新思考AI系統(tǒng)的設計方式，從當前大規(guī)模預訓練的范式轉(zhuǎn)向更加動態(tài)、注重經(jīng)驗的學習。

這與操作系統(tǒng)發(fā)展有著驚人的相似之處。正如早期計算機需要程序員手動管理內(nèi)存分配一樣，當前的AI系統(tǒng)要求開發(fā)人員認真協(xié)調(diào)信息在不同部件之間的流動方式。MemOS屏蔽掉了這種復雜性，有望帶來新一代AI應用程序：它們可以構(gòu)建在復雜的記憶管理上，而無需深厚的技術(shù)專業(yè)知識。

5.研究人員開源代碼以加快采用

該團隊已將MemOS作為開源項目發(fā)布，在GitHub上提供了完整的代碼，并為包括 HuggingFace、OpenAI和Ollama在內(nèi)的主要AI平臺提供了集成支持。這種開源策略似乎旨在加快采用，并鼓勵社區(qū)發(fā)展，而不是追求可能限制廣泛實施的專有方法。

項目負責人Zhiyu Li在GitHub代碼庫中說道：“我們希望MemOS有助于使AI系統(tǒng)由靜態(tài)生成器變成不斷改進的記憶驅(qū)動智能體?！痹撓到y(tǒng)目前支持Linux平臺，并計劃支持Windows和macOS，這表明團隊優(yōu)先考慮企業(yè)和開發(fā)人員的采用，而不是消費者立即可以享用。

開源發(fā)布策略反映了AI研究領(lǐng)域一個更廣泛的趨勢：底層基礎設施方面的改進公開共享，以惠及整個生態(tài)系統(tǒng)。這種做法歷來加快了深度學習框架等領(lǐng)域的創(chuàng)新，可能會對 AI 系統(tǒng)的記憶管理產(chǎn)生類似的積極影響。

6.大廠新賽點：記憶管理，OpenAI、谷歌、Anthropic已入局

當下，各大AI公司竭力克服當前的記憶方法存在的局限性，凸顯了這一挑戰(zhàn)對該行業(yè)來說多么重大。OpenAI最近為ChatGPT引入了記憶功能，而Anthropic、谷歌及其他提供商已嘗試了多種持久上下文。然而，這些方法的范圍通常有限，常常缺少MemOS所提供的系統(tǒng)性方法。

這項研究的時機表明，記憶管理已成為AI界競相角力的一個方面。能夠有效解決記憶問題的公司可能會在用戶留存和滿意度方面獲得顯著優(yōu)勢，因為他們的AI系統(tǒng)將能夠隨著時間的推移建立更深入、更實用的關(guān)系。

業(yè)內(nèi)觀察家早就預測，AI的下一大突破不一定來自更大的模型或更多的訓練數(shù)據(jù)，而是來自更好地模仿人類認知能力的架構(gòu)創(chuàng)新。記憶管理正是這樣的重大進步，有望支持當前的無狀態(tài)系統(tǒng)無法實現(xiàn)的新應用和新場景。

這一突破無疑是AI研究向更有狀態(tài)、更持久的系統(tǒng)轉(zhuǎn)變的一部分，這種系統(tǒng)可以隨著時間的推移積累和完善知識，而這些是被視為AGI所必需的功能。對于評估AI實施的企業(yè)技術(shù)領(lǐng)導者來說，MemOS 可能代表著構(gòu)建AI系統(tǒng)方面的重大進步：這類系統(tǒng)可以維護上下文并逐漸改進，而不是將每次交互都視為孤立的。

研究團隊表示，他們計劃探究跨模型記憶共享、自進化記憶塊以及更廣泛的“記憶市場”生態(tài)系統(tǒng)。

但也許MemOS最重大的影響不是具體的技術(shù)實現(xiàn)，而是證明將記憶視為首要的計算資源有望大幅提升AI能力。

在這個主要專注于擴展模型大小和訓練數(shù)據(jù)的行業(yè)，MemOS表明下一個突破可能來自更好的架構(gòu)，而不是更大的計算機。

論文鏈接：https://arxiv.org/pdf/2507.03724

GitHub鏈接：https://github.com/MemTensor/MemOS

參考鏈接：https://venturebeat.com/ai/chinese-researchers-unveil-memos-the-first-memory-operating-system-that-gives-ai-human-like-recall/

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，譯者：沈建苗