本文章的作者為清華大學(xué)交叉信息院二年級(jí)碩士生許融武和一年級(jí)博士生祁澤涵，他們也是本篇綜述的的主要作者。

隨著人工智能和大型模型技術(shù)的迅猛發(fā)展，檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）已成為大型語(yǔ)言模型生成文本的一種主要范式。這種技術(shù)的代表 —— 檢索增強(qiáng)的大型語(yǔ)言模型（Retrieval-Augmented Large Language Model, RALM）—— 能夠直接利用檢索得到的文檔信息進(jìn)行內(nèi)容生成，無(wú)需進(jìn)行額外的訓(xùn)練，這一優(yōu)勢(shì)使其在工業(yè)界得到了廣泛應(yīng)用，例如 New Bing 搜索引擎。

然而，自 2023 年起，RALM 在處理知識(shí)沖突方面面臨的問(wèn)題逐漸成為研究的焦點(diǎn)。知識(shí)沖突不僅嚴(yán)重影響了模型在知識(shí)密集型任務(wù)上的性能，也暴露了其在面對(duì)錯(cuò)誤信息時(shí)的脆弱性，進(jìn)而對(duì)模型的安全性構(gòu)成威脅，尤其是在那些對(duì)事實(shí)準(zhǔn)確性有著嚴(yán)格要求的應(yīng)用場(chǎng)景中。知識(shí)沖突主要表現(xiàn)在模型內(nèi)部的參數(shù)化知識(shí)與外部上下文信息之間，以及外部上下文信息內(nèi)部的不一致性。此外，研究者還觀察到模型內(nèi)部參數(shù)化知識(shí)之間存在沖突，即出現(xiàn)自相矛盾的現(xiàn)象，這可能源于模型在預(yù)訓(xùn)練階段學(xué)習(xí)到了相互矛盾的信息。

我們來(lái)看一個(gè)具體的例子：

在上面這個(gè)例子中，大模型接受了一個(gè)事實(shí)性問(wèn)題：哪只隊(duì)伍在世界杯中獲得了最多次的冠軍？對(duì)于這個(gè)問(wèn)題，一個(gè) RALM 可能會(huì)檢索網(wǎng)絡(luò)上、向量數(shù)據(jù)庫(kù)內(nèi)的文檔，同時(shí)加上用戶之前的提示語(yǔ)組成的歷史對(duì)話記錄，共同形成了上下文知識(shí)（Contextual Knowledge, Context，在上圖用黃色予以標(biāo)出）；與此同時(shí)，大模型在預(yù)訓(xùn)練中也看到了關(guān)于解答這個(gè)問(wèn)題的信息，這些信息構(gòu)成了其參數(shù)化知識(shí)，又稱模型的 “記憶”（Parametric Knowledge，Memory，在上圖用藍(lán)色標(biāo)出）。根據(jù)沖突兩方信息的來(lái)源，我們便可 “兩兩（可重）組合” 劃分為以下三個(gè)類別：

• Context-Memory Conflict 即上下文和參數(shù)知識(shí)之間的沖突。例子 1：模型通過(guò) Web 檢索獲取的知識(shí)是即時(shí)的，但學(xué)到的知識(shí)已經(jīng) “過(guò)氣”；例子 2：模型獲得了錯(cuò)誤的假信息，與參數(shù)知識(shí)發(fā)生了沖突。
• Inter-Context Conflict 即上下文知識(shí)內(nèi)部的沖突。例子：通過(guò) Web 檢索，獲得的信息因?yàn)榘l(fā)布的時(shí)間不同，或是混入了惡意的有誤信息而自相沖突。
• Intra-Memory Conflict 即參數(shù)化知識(shí)內(nèi)部的沖突。例子：對(duì)于事實(shí)性問(wèn)答，模型在語(yǔ)義相同的提示一下被激發(fā)出不同結(jié)果的答案，產(chǎn)生出自相矛盾的效果。

知識(shí)沖突最早的文獻(xiàn)可以追溯到 Longpre 等人在 EMNLP 2021 的文章：Entity-based knowledge conflicts in question answering。這篇文章通過(guò)命名實(shí)體替換的方法在開放域問(wèn)答（Open-Domain Question Answering）構(gòu)造了沖突的知識(shí)，并對(duì)當(dāng)時(shí)的語(yǔ)言模型進(jìn)行了評(píng)測(cè)。隨著 2023 年大型語(yǔ)言模型的興起和 RAG 范式在工業(yè)界廣泛應(yīng)用，知識(shí)沖突的研究熱度逐漸升高，因其很大程度上降低了模型在關(guān)鍵任務(wù)上的表現(xiàn)，特別是對(duì)真實(shí)性有要求的任務(wù)。

近期，來(lái)自清華大學(xué)、劍橋大學(xué)、西湖大學(xué)、香港中文大學(xué)的研究者聯(lián)合發(fā)布了一篇綜述，從起因、表現(xiàn)以及解決方案三個(gè)方面，對(duì)三種不同的知識(shí)沖突類型進(jìn)行詳細(xì)探討，幫助讀者更好地理解和應(yīng)對(duì)這一挑戰(zhàn)。在我們看來(lái)，知識(shí)沖突既是導(dǎo)致各種模型下游表現(xiàn)的原因，也是從知識(shí)自身和模型知識(shí)學(xué)習(xí)中天然復(fù)雜性中呈現(xiàn)出的效果。

• 論文地址：https://arxiv.org/abs/2403.08319
• 項(xiàng)目地址：https://github.com/pillowsofwind/Knowledge-Conflicts-Survey

這篇綜述：

1. 首次系統(tǒng)性地總結(jié)了知識(shí)沖突領(lǐng)域的研究工作；

2. 全面分析了三種大模型可能遭遇的沖突類型，特別是對(duì)參數(shù)化知識(shí)沖突進(jìn)行討論；

3. 我們不僅探討了每種沖突的分析，還從其 “生命周期” 的視角出發(fā)，審視了沖突的起因、表現(xiàn)以及可能的解決策略。

探索 Context-memory conflict：起因、表現(xiàn)與解決方案

起因

Context-Memory Conflict 的核心在于上下文信息與參數(shù)化知識(shí)之間的差異。這種沖突的起因主要分為兩個(gè)方面：時(shí)間錯(cuò)位（Temporal Misalignment）和信息污染（Misinformation Pollution）。

1. 時(shí)間錯(cuò)位（Temporal Misalignment）

時(shí)間錯(cuò)位是指模型在訓(xùn)練過(guò)程中使用的歷史數(shù)據(jù)無(wú)法準(zhǔn)確反映當(dāng)前或未來(lái)的現(xiàn)實(shí)。這種現(xiàn)象在大語(yǔ)言模型中尤為明顯，因?yàn)檫@些模型通常在大量靜態(tài)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，而這些數(shù)據(jù)可能在現(xiàn)實(shí)中已經(jīng)過(guò)時(shí)。例如，一篇關(guān)于 2020 年奧運(yùn)會(huì)的文章在 2024 年可能已經(jīng)不再準(zhǔn)確，然而，模型可能依然依賴這些過(guò)時(shí)的信息進(jìn)行預(yù)測(cè)和回答問(wèn)題。研究表明，語(yǔ)言模型的性能會(huì)隨著時(shí)間的推移而下降，語(yǔ)言的使用方式、文化變化以及知識(shí)更新等都會(huì)影響模型對(duì)當(dāng)前信息的處理能力。

2. 信息污染（Misinformation Pollution）

信息污染是指外部信息中夾雜著錯(cuò)誤或誤導(dǎo)性的信息，這些不準(zhǔn)確的數(shù)據(jù)會(huì)影響模型的判斷和決策能力。這種情況在互聯(lián)網(wǎng)時(shí)代尤為普遍，網(wǎng)絡(luò)上充斥著各種虛假信息、謠言以及故意編造的假新聞。惡意用戶可能通過(guò)在網(wǎng)絡(luò)上發(fā)布虛假信息，干擾模型的判斷。例如，惡意攻擊者可以在社交媒體上發(fā)布虛假的醫(yī)療信息，從而誤導(dǎo)依賴這些信息進(jìn)行判斷的模型。信息污染不僅會(huì)影響模型的準(zhǔn)確性，還會(huì)破壞用戶對(duì)模型的信任。研究表明惡意的虛假信息會(huì)顯著削弱自動(dòng)化事實(shí)核查系統(tǒng)和開放域問(wèn)答系統(tǒng)的準(zhǔn)確性。

表現(xiàn)

當(dāng)面對(duì) Context-Memory Conflict 時(shí)，模型的行為表現(xiàn)出顯著的復(fù)雜性和多樣性。以下是兩種表現(xiàn)形式：

1. 依賴參數(shù)化知識(shí)

一些模型在處理上下文與內(nèi)存矛盾時(shí)，往往會(huì)過(guò)度依賴其內(nèi)部的參數(shù)知識(shí)，而忽視外部提供的上下文信息。這種行為在早期的開放域問(wèn)答（ODQA）研究中得到了驗(yàn)證。Longpre 等人（2021）發(fā)現(xiàn) QA 模型在面對(duì)上下文信息與其內(nèi)部知識(shí)沖突時(shí)，傾向于依賴內(nèi)存知識(shí)。

2. 依賴上下文信息

另一方面，某些模型在面對(duì)外部證據(jù)時(shí)，即使這些證據(jù)與其內(nèi)部記憶相矛盾，也會(huì)傾向于采信外部證據(jù)。Chen 等人（2022）在 QA 模型上的實(shí)驗(yàn)表明模型傾向于依賴上下文知識(shí)，與 Longpre 等人的發(fā)現(xiàn)形成對(duì)比，其解釋為 Longpre 構(gòu)造的沖突信息過(guò)于簡(jiǎn)單。最近，Xie 等人（2023）通過(guò)操控大模型生成 “更符合邏輯” 的沖突上下文，發(fā)現(xiàn)大模型在面對(duì)外部證據(jù)時(shí)，即使這些證據(jù)與其參數(shù)知識(shí)相矛盾，也更傾向于信任外部證據(jù)。

解決方案

為了有效應(yīng)對(duì) Context-Memory Conflict，研究人員提出了多種解決方案，這些方案主要分為在沖突發(fā)生前的預(yù)防措施（pre-hoc strategies）和沖突發(fā)生后的應(yīng)對(duì)措施（post-hoc strategies）。以下是幾種主要的解決方案：

1. 預(yù)防措施

• 持續(xù)學(xué)習(xí)（Continue Learning）：通過(guò)持續(xù)預(yù)訓(xùn)練模型以納入新的和更新的數(shù)據(jù)，從而減少時(shí)間錯(cuò)位帶來(lái)的影響。例如，Lazaridou 等人（2021）建議通過(guò)持續(xù)預(yù)訓(xùn)練來(lái)更新模型的內(nèi)部知識(shí)，以跟上最新的信息。
• 知識(shí)編輯（Knowledge Editing）：直接更新已訓(xùn)練模型的參數(shù)知識(shí)，以反映最新的信息。例如，De Cao 等人（2021）提出了一種知識(shí)編輯方法，旨在直接修改模型的內(nèi)部知識(shí)，以糾正錯(cuò)誤或過(guò)時(shí)的信息。但是知識(shí)編輯的一個(gè)弊端是可能會(huì)導(dǎo)致模型出現(xiàn)內(nèi)在沖突的知識(shí)，即誘發(fā)后面我們提到的 intra-memory conflict。

2. 應(yīng)對(duì)措施

• 微調(diào)模型（Fine-Tuning）：通過(guò)引入反事實(shí)和無(wú)關(guān)上下文等方法，加強(qiáng)模型對(duì)上下文的控制能力和魯棒性。例如，Li 等人（2022）提出的知識(shí)感知細(xì)調(diào)（KAFT）方法，通過(guò)在標(biāo)準(zhǔn)訓(xùn)練數(shù)據(jù)集中引入反事實(shí)和無(wú)關(guān)上下文，增強(qiáng)了模型在面對(duì)沖突信息時(shí)的魯棒性。
• 提示語(yǔ)技術(shù)（Prompting）：通過(guò)專門設(shè)計(jì)的提示語(yǔ)策略，增強(qiáng)模型對(duì)上下文的依賴。例如，Zhou 等人（2023）提出了簡(jiǎn)潔的 context-faithful prompting 的技術(shù)，顯著提升了模型在上下文敏感任務(wù)中的表現(xiàn)。
• 知識(shí)插入（Knowledge Plug-in）：通過(guò)插件模塊存儲(chǔ)更新的知識(shí)，確保原始模型不受影響。例如，Lee 等人（2022）提出的持續(xù)更新 QA（CuQA）方法，通過(guò)知識(shí)插件增強(qiáng)模型的知識(shí)更新能力，而不影響其原有參數(shù)。
• 解碼技術(shù)（Decoding）：通過(guò)調(diào)整解碼策略，減少模型在知識(shí)沖突情況下生成幻覺的概率。例如，Shi 等人（2023）提出的上下文感知解碼（CAD）方法，通過(guò)放大輸出概率的差異，優(yōu)先考慮上下文信息，從而減少模型在沖突信息下的誤導(dǎo)。

通過(guò)結(jié)合這些預(yù)防和應(yīng)對(duì)措施，可以從不同角度提高模型在處理 Context-Memory Conflict 時(shí)的準(zhǔn)確性和魯棒性，從而提升模型在實(shí)際應(yīng)用中的表現(xiàn)和用戶體驗(yàn)。

探索 Inter-Context Conflict：起因、表現(xiàn)與解決方案

起因

Inter-Context 沖突是指在不同外部信息整合過(guò)程中出現(xiàn)的矛盾，盡管這些外部信息能豐富大模型的回答，但也可能導(dǎo)致上下文之間的信息沖突。這種沖突的發(fā)生主要是因?yàn)橥獠啃畔⒅锌赡馨e(cuò)誤信息（Misinformation）和過(guò)時(shí)信息（Outdated Information）。

1. 錯(cuò)誤信息（Misinformation）

檢索增強(qiáng)生成技術(shù)（RAG）通過(guò)整合外部信息來(lái)提升大模型的響應(yīng)質(zhì)量，然而這些外部信息可能含有虛假內(nèi)容。例如，可能會(huì)混入偽造新聞或由 AI 生成的誤導(dǎo)性內(nèi)容，導(dǎo)致檢索到的信息之間產(chǎn)生沖突。面對(duì)這些沖突，模型如何處理是一個(gè)重要挑戰(zhàn)。若不能有效解決這些沖突，可能導(dǎo)致模型生成的內(nèi)容不準(zhǔn)確，進(jìn)而加劇虛假信息的傳播，進(jìn)一步混淆信息。

2. 過(guò)時(shí)信息（Outdated Information）

隨著時(shí)間推移，事實(shí)會(huì)發(fā)生變化。大模型在檢索外部文件時(shí)，可能會(huì)遇到同時(shí)包含最新和過(guò)時(shí)信息的文檔。這種信息的時(shí)間差異會(huì)導(dǎo)致上下文之間的沖突。例如，關(guān)于某個(gè)事件的最新發(fā)展與過(guò)時(shí)的信息之間的矛盾，會(huì)影響模型的響應(yīng)準(zhǔn)確性。過(guò)時(shí)的信息不僅會(huì)使模型的回答變得不準(zhǔn)確，還可能導(dǎo)致用戶對(duì)模型失去信任。

表現(xiàn)

在面對(duì) Inter-Context Conflict 時(shí)，大模型在被動(dòng)和主動(dòng)兩種角度下都表現(xiàn)出了特定的行為特征：

1. 性能影響（Performance Impact）

錯(cuò)誤或過(guò)時(shí)信息會(huì)顯著影響大模型的性能。例如，Chen 等（2022）的研究也指出，當(dāng)模型在遇到矛盾的信息時(shí)，但它們更傾向于信任與問(wèn)題直接相關(guān)的信息和模型內(nèi)部的參數(shù)知識(shí)。Pan 等（2023a）通過(guò)將偽造的維基百科文章插入真實(shí)的維基百科語(yǔ)料庫(kù)，發(fā)現(xiàn)現(xiàn)有語(yǔ)言模型在面對(duì)虛假信息攻擊時(shí)表現(xiàn)不佳。Xie 等（2023）的研究進(jìn)一步揭示，大模型對(duì)與模型參數(shù)記憶一致的證據(jù)存在顯著偏好，尤其是當(dāng)這些證據(jù)涉及常見實(shí)體或得到大量文檔支持時(shí)。

2. 檢測(cè)能力（Detection Ability）

檢測(cè)上下文中的矛盾信息也是一項(xiàng)重要任務(wù)。Li 等（2023a）分析了 GPT-4、PaLM-2 和 Llama 2 在新聞、故事和維基百科文章中檢測(cè)矛盾文件的能力，結(jié)果顯示平均檢測(cè)準(zhǔn)確率較低。Wan 等（2024）的研究則揭示，現(xiàn)有模型在評(píng)估文檔可信度時(shí)，往往高度依賴與查詢相關(guān)的文檔內(nèi)容，但忽略了人類認(rèn)為重要的文體特征，如科學(xué)引用或中立的語(yǔ)氣。Jin 等人（2024a）發(fā)現(xiàn)大模型偏愛在上下文中出現(xiàn)頻率最高的證據(jù)，并對(duì)與其內(nèi)部記憶一致的外部信息表現(xiàn)出明顯傾向。

解決方案

為了有效應(yīng)對(duì) Inter-Context Conflict，研究人員從多種角度提出了解決方案，這些方案主要分為消除沖突（Eliminating Conflict）和提高魯棒性（Improving Robustness）兩個(gè)方面，從主動(dòng)和被動(dòng)兩個(gè)角度解決 Inter-Context Conflict。

1. 消除沖突（Eliminating Conflict）

• 專用模型（Specialized Models）：專門訓(xùn)練一個(gè)模型來(lái)更好地處理特定類型的沖突。如 Pielka 等（2022）建議在學(xué)習(xí)過(guò)程中加入語(yǔ)言學(xué)知識(shí)，通過(guò)引入語(yǔ)法和語(yǔ)義特征來(lái)增強(qiáng)對(duì)矛盾信息的識(shí)別，以提高模型對(duì)矛盾檢測(cè)的能力。
• 通用模型（General Models）：使用通用模型來(lái)完成沖突消除。Chern 等（2023）提出了一個(gè)整合了多種工具（如 Google Search、Google Scholar 等）的事實(shí)核查框架，用于檢測(cè)文本中的事實(shí)錯(cuò)誤。這種方法不僅依賴于模型的內(nèi)部知識(shí)，還結(jié)合了外部檢索到的信息，提供更為全面的事實(shí)驗(yàn)證。

2. 提高魯棒性（Improving Robustness）

• 訓(xùn)練方法（Training Approach）：從訓(xùn)練算法上提升模型在面臨沖突上下文時(shí)的魯棒性。Hong 等（2023）提出了一種新的微調(diào)方法，通過(guò)同時(shí)訓(xùn)練判別器和解碼器來(lái)提高模型的魯棒性。這種方法不僅可以提高模型在面對(duì)沖突信息時(shí)的穩(wěn)定性，還能增強(qiáng)其處理復(fù)雜信息的能力。
• 查詢?cè)鰪?qiáng)（Query Augmentation）：在推理階段通過(guò)進(jìn)一步引入外界知識(shí)來(lái)提升模型的魯棒性。Weller 等（2022）提出了一種查詢?cè)鰪?qiáng)技術(shù)，提示 GPT-3 從原始查詢中提取新的問(wèn)題，通過(guò)生成多個(gè)與原始問(wèn)題相關(guān)的查詢，模型可以從多個(gè)角度驗(yàn)證答案的正確性，從而減少由于單一信息源導(dǎo)致的錯(cuò)誤。這種方法不僅提高了模型應(yīng)對(duì)沖突信息的能力，還增加了其回答的準(zhǔn)確性和可靠性。

Inter-Context Conflict 是知識(shí)沖突中的重要一環(huán)。大模型如何處理相互沖突的信息是一個(gè)關(guān)鍵任務(wù)。通過(guò)上述方法，可以從不同角度提高模型在處理 Inter-Context Conflict 時(shí)的準(zhǔn)確性和魯棒性。

探索 Intra-Memory Conflict：起因、表現(xiàn)與解決方案

起因

Intra-Memory Conflict 是指模型在面對(duì)語(yǔ)義相同但句法不同的輸入時(shí)，表現(xiàn)出不一致的行為。這種沖突的主要原因可以分為以下幾個(gè)方面：

1. 訓(xùn)練語(yǔ)料庫(kù)的偏差（Bias in Training Corpora）

LLMs 的主要知識(shí)獲取階段是在預(yù)訓(xùn)練期間完成的，而這些預(yù)訓(xùn)練數(shù)據(jù)通常是從互聯(lián)網(wǎng)上抓取的。這些數(shù)據(jù)來(lái)源廣泛，包括社交媒體、新聞文章、百科全書等，其質(zhì)量參差不齊，可能包含不準(zhǔn)確或誤導(dǎo)性的信息。這些錯(cuò)誤信息會(huì)被模型記住并在推理時(shí)放大，導(dǎo)致模型內(nèi)的知識(shí)出現(xiàn)沖突，這會(huì)導(dǎo)致模型在回答相關(guān)問(wèn)題時(shí)出現(xiàn)多種相互矛盾的答案。同時(shí)，大模型存在對(duì)訓(xùn)練數(shù)據(jù)的表面關(guān)聯(lián)進(jìn)行編碼的情況，這會(huì)導(dǎo)致模型依據(jù)表面的虛假相關(guān)性進(jìn)行判斷。由于對(duì)虛假相關(guān)性的依賴，當(dāng)遇到句法結(jié)構(gòu)不同但語(yǔ)義相同的提示時(shí)，模型可能會(huì)給出不同的答案。

2. 解碼策略（Decoding Strategy）

大模型的輸出是通過(guò)對(duì)可能的下一個(gè)詞進(jìn)行概率分布采樣而得出的。不同的采樣方法（如貪心采樣、top-p 采樣、top-k 采樣等）會(huì)導(dǎo)致生成內(nèi)容的隨機(jī)性。例如，在使用 top-k 采樣時(shí)，模型會(huì)從概率最高的 k 個(gè)候選詞中隨機(jī)選擇下一個(gè)詞，這種隨機(jī)性增加了輸出的不確定性，使得相同的輸入在不同次推理中可能得到不同的結(jié)果。

3. 知識(shí)編輯（Knowledge Editing）

為了高效地修改大模型中的知識(shí)，研究人員提出了知識(shí)編輯技術(shù)。這些技術(shù)旨在高效地修改模型中小范圍的知識(shí)，而不需要重新訓(xùn)練整個(gè)模型。然而，這些編輯方法可能導(dǎo)致知識(shí)的一致性難以保證。例如，通過(guò)知識(shí)編輯修改某一事實(shí)（如某一科學(xué)發(fā)現(xiàn)的具體細(xì)節(jié)），但未能同步更新與之相關(guān)的所有知識(shí)，可能導(dǎo)致模型在面對(duì)不同問(wèn)題時(shí)產(chǎn)生不一致的響應(yīng)。同時(shí)，修改后的知識(shí)可能無(wú)法有效地在不同情境下應(yīng)用，從而導(dǎo)致模型在處理同一知識(shí)的不同表達(dá)時(shí)產(chǎn)生不一致的回答。

表現(xiàn)

Intra-Memory Conflict 會(huì)對(duì)大模型的表現(xiàn)產(chǎn)生顯著影響，主要體現(xiàn)在以下幾個(gè)方面：

1. 自我不一致性（Self-Inconsistency）

自我不一致性是指模型在面對(duì)語(yǔ)義等價(jià)但句法不同的問(wèn)題時(shí)，生成的回答不一致。例如，研究表明，即便是 GPT-4 這樣的先進(jìn)模型，在處理常識(shí)性問(wèn)題時(shí)，仍然有 13% 的回答存在不一致性。這意味著用戶提出同樣的問(wèn)題，但換種說(shuō)法時(shí)，可能會(huì)得到不同的回答。另一方面，模型在回憶知識(shí)時(shí)，可能更多依賴于訓(xùn)練數(shù)據(jù)中詞語(yǔ)的表面關(guān)聯(lián)，而不是對(duì)知識(shí)的真正理解。例如，一個(gè)模型可能會(huì)錯(cuò)誤地關(guān)聯(lián)某些高頻共現(xiàn)的詞語(yǔ)，導(dǎo)致生成的回答偏離預(yù)期。這種錯(cuò)誤關(guān)聯(lián)進(jìn)一步加劇了模型回答的自我不一致性。

2. 知識(shí)的潛在表示（Latent Representation of Knowledge）

大模型內(nèi)部的多層 Transformer 架構(gòu)導(dǎo)致不同層次存儲(chǔ)著不同的知識(shí)表示。這種分散的知識(shí)表示會(huì)導(dǎo)致模型在生成過(guò)程中無(wú)法準(zhǔn)確表達(dá)已經(jīng)存儲(chǔ)的知識(shí)。例如，淺層次可能存儲(chǔ)的是低級(jí)信息，而深層次存儲(chǔ)的是語(yǔ)義信息。這種多層表示的分散導(dǎo)致模型在面對(duì)不同問(wèn)題時(shí)，可能無(wú)法協(xié)調(diào)不同層次的知識(shí)，進(jìn)而產(chǎn)生不一致的回答。

3. 跨語(yǔ)言不一致性（Cross-lingual Inconsistency）

由于大模型在不同語(yǔ)言中維護(hù)著不同的知識(shí)集合，這導(dǎo)致了跨語(yǔ)言的一致性問(wèn)題。例如，同一個(gè)事實(shí)在不同語(yǔ)言中可能會(huì)得到不同的回答，這種現(xiàn)象在跨語(yǔ)言知識(shí)問(wèn)答中尤為明顯。例如，一個(gè)在英語(yǔ)中訓(xùn)練的模型可能會(huì)對(duì)某個(gè)事實(shí)有準(zhǔn)確的回答，但在西班牙語(yǔ)中卻給出不同的答案。

解決方案

針對(duì)內(nèi)部記憶沖突，研究人員提出了多種解決方案，主要可以分為以下幾類：

1. 提升一致性（Improving Consistency）

• 微調(diào)（Fine-tuning）：通過(guò)引入一致性損失函數(shù)，并結(jié)合標(biāo)準(zhǔn)的語(yǔ)言模型訓(xùn)練損失，進(jìn)行微調(diào)，提升模型的知識(shí)一致性。例如，Li 等人（2023）則利用模型生成的回答對(duì)其進(jìn)行驗(yàn)證，篩選出一致性較高的回答對(duì)進(jìn)行微調(diào)，進(jìn)一步提升生成的答案的一致性。
• 插件（Plug-in）：通過(guò)模塊插入的整合方法提高模型的一致性。例如，Jang 和 Lukasiewicz（2023）提出通過(guò)利用字典中的詞義對(duì)模型進(jìn)行訓(xùn)練，增強(qiáng)其對(duì)符號(hào)意義的理解。然后將這些增強(qiáng)的參數(shù)與現(xiàn)有語(yǔ)言模型的參數(shù)合并從而提高模型的一致性。
• 輸出集成（Output Ensemble）：通過(guò)對(duì)多次輸出進(jìn)行綜合，從而獲得一個(gè)最正確的答案。Mitchell 等人（2022）提出了這種雙模型架構(gòu)，通過(guò)評(píng)估答案間的邏輯一致性來(lái)選擇最可信的最終答案，減少模型生成的不一致性。

2. 提升事實(shí)準(zhǔn)確性（Improving Factuality）

提升模型響應(yīng)的真實(shí)性，從而減少模型自身不一致的發(fā)生。例如，Li 等人（2023）提出了一種知識(shí)探測(cè)方法，通過(guò)識(shí)別模型參數(shù)中包含的真實(shí)知識(shí)，并在推理階段沿著這些真實(shí)知識(shí)相關(guān)的方向調(diào)整激活，從而減少生成過(guò)程中的事實(shí)錯(cuò)誤。

內(nèi)部記憶沖突是 LLMs 研究中的一個(gè)重要挑戰(zhàn)，解決這一問(wèn)題需要從訓(xùn)練、生成和后處理等多個(gè)階段入手。雖然目前的解決方案已經(jīng)在一定程度上緩解了這一問(wèn)題，但仍有許多挑戰(zhàn)需要克服。

討論 1：模型應(yīng)當(dāng)如何響應(yīng)沖突？

理想情況下，模型在遇到知識(shí)沖突時(shí)應(yīng)能夠識(shí)別沖突并提供明確的答案。然而，研究發(fā)現(xiàn)現(xiàn)有模型在識(shí)別沖突存在方面表現(xiàn)較好，但在確定具體沖突段落并生成有區(qū)分的答案方面仍存在挑戰(zhàn)。另一方面，有些研究者認(rèn)為我們不應(yīng)該將 “處理沖突” 的任務(wù)完全丟給大模型代表的 AI，而是應(yīng)該將這個(gè)權(quán)力掌握在人類手中。

討論 2：當(dāng)前挑戰(zhàn)和后續(xù)研究方向

1. 實(shí)際環(huán)境中的知識(shí)沖突：

研究應(yīng)關(guān)注知識(shí)沖突在現(xiàn)實(shí)世界中自然發(fā)生的情況，如在從網(wǎng)絡(luò)直接檢索文檔的檢索增強(qiáng)語(yǔ)言模型（RALMs）中。應(yīng)盡量減少人為創(chuàng)造知識(shí)沖突，以更好地反映實(shí)際應(yīng)用。

2. 更精細(xì)的解決方案：

需要更細(xì)致的解決方案，考慮用戶查詢的性質(zhì)、沖突信息的來(lái)源和用戶期望。解決方案應(yīng)針對(duì)不同類型的沖突（如錯(cuò)誤信息、過(guò)時(shí)信息或主觀問(wèn)題）進(jìn)行定制，認(rèn)識(shí)到問(wèn)題和潛在解決方案的廣泛性。

3. 下游任務(wù)評(píng)估：

未來(lái)的研究應(yīng)超越常見的問(wèn)答數(shù)據(jù)集，評(píng)估知識(shí)沖突對(duì)更廣泛應(yīng)用的影響。這包括需要高準(zhǔn)確性和一致性的領(lǐng)域，如法律文檔分析、醫(yī)療診斷、財(cái)務(wù)分析和教育工具。

4. 沖突之間的相互作用：

研究不同類型沖突（如內(nèi)部記憶沖突和上下文記憶沖突）之間的相互作用是至關(guān)重要的。理解這些關(guān)系可能揭示大模型中知識(shí)表示和處理的機(jī)制，從而開發(fā)更強(qiáng)大的模型。

5. 可解釋性：

需要對(duì)大模型內(nèi)部機(jī)制（如沖突期間的注意力頭或神經(jīng)元激活）進(jìn)行更微觀的檢查。這將有助于理解模型在遇到?jīng)_突時(shí)如何做出決策，并開發(fā)如路徑修補(bǔ)剪枝的沖突解決方法。

6. 多語(yǔ)言性：

研究應(yīng)探索非英語(yǔ)提示和跨語(yǔ)言的知識(shí)沖突。這包括非英語(yǔ)中的知識(shí)沖突，以及不同語(yǔ)言的多個(gè)文檔的上下文沖突。

7. 多模態(tài)性：

隨著大模型處理多種格式（文本、圖像、視頻、音頻）的發(fā)展，未來(lái)研究應(yīng)關(guān)注多模態(tài)環(huán)境中的沖突。開發(fā)能夠跨多種數(shù)據(jù)類型進(jìn)行跨模態(tài)推理和沖突解決的先進(jìn) LLMs 是必要的。