你有沒有想過，當ChatGPT回答你的問題時，它的“大腦”里到底裝了多少東西？最近，來自Meta、谷歌DeepMind、康奈爾大學等機構的研究人員發表了一項突破性研究，首次精確測量出了大語言模型的“記憶容量”。這項研究不僅揭示了AI學習的奧秘，還解釋了許多我們日常使用中遇到的現象。

什么是模型的“記憶”？

想象一下你在準備考試。有些知識你是真正理解的，比如數學公式的推導原理，遇到新題目時你能靈活運用；而有些內容你只是死記硬背，比如某些特定的歷史日期或化學方程式，只能原樣復述。

大語言模型也是如此——它既會“理解”語言的一般規律，也會“死記硬背”訓練數據中的具體內容。

研究人員將模型的記憶分為兩種：

?一種是“有意記憶”（generalization），就像我們理解數學原理一樣，模型學會了語言的通用規律，能夠回答從未見過的問題；

?另一種是“無意記憶”（unintended memorization），就像死記硬背一樣，模型直接存儲了訓練數據的具體片段。

這種區分非常重要。如果一個模型能回答“2的100次方等于多少”，這可能并不意味著它記住了這個具體的數學題，而是它學會了數學運算的一般方法。但如果它能一字不差地背出某本小說的片段，那就是真正的“死記硬背”了。

3.6比特的秘密

經過大量實驗，研究人員發現了一個規律：GPT系列模型的每個參數大約能存儲3.6比特的信息。這個數字聽起來很抽象，讓我們用一個生活化的比喻來理解。

如果把模型參數比作書架上的格子，那么每個格子大約能裝下3.6比特的“知識碎片”。一個擁有10億參數的大模型，理論上最多能存儲約36億比特的具體信息，大概相當于450MB的數據——這大約是一部電影的十分之一大小。

有趣的是，研究人員還測試了精度對容量的影響。他們發現，從半精度（bfloat16）提升到全精度（float32），模型的存儲容量只從3.51比特增加到3.83比特，遠小于理論上的2倍提升。這說明大部分額外的精度并沒有用于原始信息存儲，而是用于其他計算過程。

從死記硬背到融會貫通

更有意思的一個發現是，研究人員發現了模型學習的一個奇妙現象，類似于我們觀察到的“學霸效應”。

想象一個學生在學習過程中的變化：剛開始面對有限的題目時，他只能死記硬背每道題的答案；但當學習材料增加到一定程度后，他開始理解背后的原理，不再需要死記每個具體案例，而是能夠舉一反三。

大語言模型也經歷著同樣的過程。研究人員通過訓練數百個不同規模的模型，從50萬參數到15億參數，觀察了這個變化過程。當訓練數據較少時，模型會盡力記住每個具體的句子和段落；但當數據量超過模型的“記憶容量”后，模型開始“開竅”——它不再死記硬背具體內容，而是學會了語言的普遍規律。

這個轉折點被研究人員稱為“grokking”時刻，就像學生突然開竅的那一瞬間。在這個時刻之后，模型的“死記硬背”能力下降，但“舉一反三”的能力大幅提升。研究發現，這個轉折點恰好出現在數據集大小超過模型容量的時候。

AI學習中的神奇拐點

研究人員還觀察到了一個被稱為“雙下降”（double descent）的奇怪現象。這就像一個學生的學習曲線：剛開始時成績隨著學習時間增加而提高，但到了某個點后，成績可能暫時下降（因為開始接觸更難的內容），然后又開始上升并達到新高度。

在AI模型中，當訓練數據量剛好等于模型容量時，模型的測試表現會出現一個明顯的峰值，然后下降，接著又開始上升。研究人員發現，這個現象的根本原因是：當數據量超過模型容量時，模型被迫從個體記憶轉向模式識別，開始真正“理解”數據的內在規律。

這個發現為理解AI的學習過程提供了全新的視角。之前人們一直困惑為什么會出現雙下降現象，現在我們知道，這其實是AI從“死記硬背”向“融會貫通”轉變的標志。

為什么ChatGPT很難被“套話”？

這項研究還解釋了一個實際問題：為什么我們很難從ChatGPT等大模型中"套出"訓練數據的原始內容？

答案在于訓練數據的規模。研究人員建立了一個數學模型來預測“成員推理攻擊”（判斷某段文字是否在訓練數據中出現過）的成功率。他們發現，這個成功率遵循一個S型曲線：當數據量遠小于模型容量時，攻擊幾乎百分之百成功；當數據量遠大于模型容量時，攻擊成功率接近隨機猜測的50%。

現在的大模型都使用了海量的訓練數據——遠遠超過了模型的記憶容量。比如某個80億參數的模型被訓練在15萬億個token上，按照每個token平均4個字節計算，這相當于約60TB的數據，是模型容量的數千倍。

就像一個學生面對無窮無盡的習題集，他不可能記住每道題的具體內容，只能掌握解題的一般方法。研究人員的預測模型顯示，按照目前的訓練規模，想要從主流大模型中進行成員推理攻擊幾乎是不可能的，成功率接近50%（即隨機猜測的水平）。

哪些內容最容易被“死記”？

研究發現：模型最容易“死記硬背”的是那些包含稀有詞匯的文本，特別是非英語內容。

研究人員使用TF-IDF（詞頻-逆文檔頻率）來衡量文本的稀有程度。就像我們更容易記住奇特的事物一樣，模型也更傾向于記住那些在訓練數據中很少見的內容。他們分析了一個2000萬參數的模型，發現在最容易被模型記住的20個文本片段中，除了3個之外，其余都包含非英語詞匯，主要是日語、中文、希伯來語和希臘語。

最極端的例子是一個包含日語詞匯的序列，模型只需要看到一個日語字符"囚"，就能完整地生成整個序列。這說明稀有內容確實更容易被模型“死記硬背”。

這個發現提醒我們，雖然模型整體上很難被“套話”，但對于一些特殊的、稀有的內容，特別是少數語言的文本，我們仍然需要保持警惕。

用隨機數據驗證理論

為了驗證他們的理論，研究人員還進行了一個巧妙的實驗：他們讓模型學習完全隨機的比特序列。由于這些序列完全隨機，模型無法從中學到任何“規律”，只能純粹地死記硬背。

在這個實驗中，他們訓練了從50萬到15億參數的各種模型，讓它們學習不同長度的隨機序列。結果證實了他們的理論：每個參數確實能存儲約3.64比特的信息，而且當數據量超過模型容量時，記憶效果就達到了平臺期，無法再提升。

這個實驗特別重要，因為它排除了“理解”和“泛化”的影響，純粹測量了模型的原始存儲能力。結果與在真實文本上的實驗高度一致，證明了理論的可靠性。

不同模型架構的容量差異

研究人員還測試了不同模型架構對容量的影響。他們發現，模型的層數和寬度都會影響容量，但影響程度不同。

通過對比1層到8層、隱藏維度從32到256的各種配置，他們發現寬度的影響比深度更明顯。這為模型設計提供了實用的指導：如果目標是最大化信息存儲容量，增加模型寬度可能比增加深度更有效。

預測大模型的行為

基于這些發現，研究人員建立了一個預測模型，能夠根據模型大小和數據集規模預測成員推理攻擊的成功率。他們用這個模型預測了GPT-2系列模型的表現，并通過實際實驗驗證了預測的準確性。

預測結果顯示，要讓一個1.25億參數的GPT-2模型的成員推理F1分數達到0.95（幾乎完美），需要將訓練數據限制在約150萬個樣本；而要降到0.55（接近隨機猜測），需要約1.7億個樣本。實際實驗結果與預測值的誤差在1-2%以內，證明了模型的可靠性。

這項研究對AI的安全性和隱私保護具有重要意義。它告訴我們，現代大模型由于使用了遠超其容量的訓練數據，在隱私保護方面表現得比我們想象的要好。

但同時，研究也提醒我們需要特別關注稀有內容和少數語言文本的隱私保護。這些內容更容易被模型記住，可能面臨更高的隱私泄露風險。

這項研究不僅幫助我們理解了大語言模型的工作原理，也為未來的模型設計提供了重要指導。

現在我們知道，一個模型的“記憶容量”是有限的。如果我們想要模型更好地理解和推理，就應該用足夠多的數據來“撐滿”這個容量，迫使模型從“死記硬背”轉向“融會貫通”。這解釋了為什么現在的大模型需要如此龐大的訓練數據——正是這些海量數據，讓模型從一個“背書機器”進化成了真正能夠理解和創造的“智能助手”。

研究還為模型訓練提供了實用的指導原則：當你的數據量達到模型容量的100倍以上時，模型就會進入“泛化模式”，主要學習規律而非記憶具體內容。這為訓練數據的規模提供了科學的參考標準。

本文轉載自???芝士AI吃魚??，作者：芝士AI吃魚