編輯 | 星璇

出品 | 51CTO技術棧（微信號：blog51cto）

研究人員發現，網絡上AI生成內容的積累將導致機器學習模型“崩潰”，除非該行業能夠緩解這一風險。

牛津大學的研究團隊發現，使用AI生成的數據集來訓練未來的模型可能會產生無意義的內容，這一現象被稱為模型崩潰。在一個例子中，一個模型起初是關于中世紀歐洲建筑的文本，但到了第九代時，卻開始胡言亂語地談論野兔。

在昨日發表于《自然》雜志的一篇論文中，由谷歌DeepMind和牛津大學博士后研究員Ilia Shumailov領導的研究表明，AI可能無法在訓練數據集中捕捉到不太常見的文本行，這意味著基于這些輸出訓練的后續模型無法繼承這些細微差別。以這種方式訓練新模型會導致遞歸循環。

“對語言模型的長期中毒攻擊并非新鮮事物，”論文指出。“例如，我們看到了點擊、內容和欺詐工廠的創建，這是一種人類‘語言模型’，其工作是誤導社交網絡和搜索算法。這些中毒攻擊對搜索結果產生的負面影響導致了搜索算法的變化。例如，谷歌降低了來自這些工廠的文章的排名，更加重視來自教育等可信來源的內容，而DuckDuckGo則完全移除了這些內容。與LLMs（大型語言模型）的出現不同的是，一旦自動化，這種中毒可以發生的規模。”

1.舉例：什么是模型崩潰

在另一篇配套文章中，杜克大學電氣與計算機工程助理教授Emily Wenger用一個生成狗圖像的系統為例來說明模型崩潰。

“AI模型會傾向于在其訓練數據中重新創建最常見的犬種，因此可能會過度代表金毛尋回犬，而相對于更罕見的比熊格里芬凡丁犬，”她說。

“如果后續模型是在過度代表金毛尋回犬的AI生成數據集上進行訓練的，那么問題就會加劇。經過足夠多的循環，模型將忘記比熊格里芬凡丁犬等稀有犬種的存在，并只生成金毛尋回犬的圖片。最終，模型將崩潰，無法生成有意義的內容。”

雖然她承認過度代表金毛尋回犬可能并非壞事，但崩潰的過程對于包含不太常見想法和寫作方式的有意義代表性輸出來說是一個嚴重問題。“這是模型崩潰的核心問題，”她說。

緩解這一問題的一個現有方法是給AI生成的內容添加水印。然而，這些水印可以很容易地從AI生成的圖像中移除。共享水印信息還需要AI公司之間進行大量協調，“這在實踐中可能不可行或商業上不可行，”Wenger說。

Shumailov及其同事表示，使用AI生成的數據來訓練模型并非不可能，但行業需要建立一種有效的數據過濾手段。

“需要將LLMs生成的數據與其他數據區分開，這引發了關于從互聯網上抓取的內容的原始性的問題：目前尚不清楚如何在大規模上追蹤由LLMs生成的內容，”論文指出。

“一個選擇是社區范圍內的協調，以確保參與LLM創建和部署的不同方面能夠共享解決原始性問題所需的信息。否則，如果沒有在LLM技術大規模應用之前從互聯網上抓取的數據或大規模直接訪問由人類生成的數據的權限，訓練LLM的新版本可能會變得越來越困難。”

2.萬能的網友：這是數據的第二定律

網友們對此紛紛吐槽：

• LionelB：認為這一現象早在ML圈中就已知，并將其比作數據的“第二定律”。
• DJO：指出“垃圾進，垃圾出”的說法已經存在了幾十年。
• LionelB（再次）：認為即便原始輸入并非垃圾，輸出也可能因迭代應用損失性算法而變得無意義。
• m4r35n357：認為問題不在于輸入或算法實現，而在于整個問題域本身是荒謬的偽數學廢話。
• LionelB（回應m4r35n357）：認為LLMs的目的是生成與查詢相關的人類般合理的文本響應，并非偽數學，但認為其應用價值仍存爭議。同時批評營銷人群過度夸大LLMs的能力。?

本文轉載自??51CTO技術棧??，作者：星璇