谷歌DeepMind的研究人員發(fā)現(xiàn)，反學(xué)習(xí)（Unlearning）作為解決大模型輸出不良信息的有效解決方案之一，在實(shí)際應(yīng)用中效果并不是很好，會(huì)出現(xiàn)“UnUnlearning”的情況

這是因?yàn)榉磳W(xué)習(xí)的過(guò)程在移除模型中已有知識(shí)時(shí)，可能面臨技術(shù)上的復(fù)雜性和局限性，導(dǎo)致無(wú)法徹底清除所有不良信息。

此外，由于大模型的訓(xùn)練數(shù)據(jù)非常龐大且復(fù)雜，也可能會(huì)根據(jù)其他已知的信息重新構(gòu)建出這部分被遺忘的內(nèi)容。例如，即使大模型忘記了“炸彈”的定義，但如果它了解化學(xué)知識(shí)，就能根據(jù)上下文線(xiàn)索重新推斷出制作炸彈的方法。

論文地址：https://arxiv.org/abs/2407.00106

在AI大模型領(lǐng)域，數(shù)據(jù)的類(lèi)型可以被劃分為公理、定理以及派生三大類(lèi)。公理是模型中的基本事實(shí)或特征，它們是構(gòu)建更復(fù)雜概念的基石；

定理則是基于這些公理推導(dǎo)出的結(jié)論，代表了模型對(duì)輸入信息的理解和解釋?zhuān)慌缮鷦t是從公理和定理中進(jìn)一步推導(dǎo)或組合得到的知識(shí)，它體現(xiàn)了模型的推理能力。

例如，考慮一個(gè)簡(jiǎn)單的動(dòng)物分類(lèi)模型。在這個(gè)模型中，"有耳朵"、"有眼睛"和"有尾巴"可以被視為公理，而"是貓"則是一個(gè)基于這些公理的定理。

如果模型進(jìn)一步學(xué)習(xí)到"大"和"條紋"的特征，它可能會(huì)推導(dǎo)出"是老虎"的新定理。這里的"是老虎"就是一個(gè)派生知識(shí)，因?yàn)樗腔谠脊砗鸵汛嬖诘亩ɡ淼贸龅摹?/p>

而谷歌發(fā)現(xiàn)的UnUnlearning情況證明，即便一些特定不良數(shù)據(jù)通過(guò)Unlearning技術(shù)進(jìn)行了忘記和刪除，大模型仍然可能通過(guò)對(duì)上下文的學(xué)習(xí)重新獲得這些知識(shí)。

這是因?yàn)椋粍h除的數(shù)據(jù)可能只是模型中的一個(gè)定理，而構(gòu)成這個(gè)定理的公理仍然存在于模型中。當(dāng)模型接收到與這些公理相關(guān)的新上下文信息時(shí)，它可能會(huì)重新組合這些公理，從而再次推導(dǎo)出被刪除的定理。

我們還是繼續(xù)說(shuō)上面的老虎案例，在這個(gè)例子中，大模型被賦予了六個(gè)基本公理：耳朵、眼睛、尾巴、大、有條紋和奔跑。基于這些公理，模型定義了三個(gè)主要的概念：貓、老虎和斑馬。

如果一個(gè)實(shí)體具有耳朵、眼睛、尾巴，那么它就被認(rèn)為是一只貓；如果一只貓同時(shí)大且有條紋，那么它就是一只老虎；如果一個(gè)實(shí)體大、有條紋和奔跑，那么可能就是一匹斑馬。

假設(shè)現(xiàn)在我們需要確保模型不會(huì)處理關(guān)于老虎的任何查詢(xún)，也就是說(shuō)，我們需要模型完全忘記“老虎”這個(gè)信息。可以使用精確的Unlearning技術(shù)來(lái)移除所有與老虎相關(guān)聯(lián)的數(shù)據(jù)。

但是，由于構(gòu)成老虎的公理仍然保留在模型中，這些公理還被其他概念斑馬和大所使用，所以，老虎這個(gè)數(shù)據(jù)很容易會(huì)被大模型重新自我學(xué)習(xí)。

此外，UnUnlearning現(xiàn)象還引發(fā)了關(guān)于知識(shí)歸屬和責(zé)任歸屬的哲學(xué)和倫理問(wèn)題。如果一個(gè)模型通過(guò)上下文學(xué)習(xí)重新獲得了被刪除的知識(shí)，并基于這些知識(shí)做出了不當(dāng)?shù)耐评恚敲簇?zé)任應(yīng)該由誰(shuí)來(lái)承擔(dān)呢？

本文轉(zhuǎn)自  AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/JoA17I2bqDoMVFT5jjdEew??