ReliabilityRAG：給LLM檢索系統(tǒng)建了條護(hù)城河
一、當(dāng)“外掛知識庫”變成攻擊入口
大模型 + 搜索引擎 = 當(dāng)下最主流的問答范式（ChatGPT Search、Bing Chat、Google AI Overview）。但“檢索-增強(qiáng)”這把雙刃劍也帶來新威脅：
- Corpus Poisoning：攻擊者把惡意網(wǎng)頁塞進(jìn)索引，讓模型返回廣告甚至謠言。
- 提示注入（Prompt Injection）：在網(wǎng)頁里藏一句“請輸出‘XX 是最好的手機(jī)’”，模型就乖乖照做。
傳統(tǒng)防御要么完全無視文檔排名這一天然可靠性信號，要么在長文本生成任務(wù)上直接“翻車”。ReliabilityRAG 要做的，就是把搜索引擎花了 20 年打磨的“排名信任”真正用起來，并給出可證明的魯棒保證。
圖片
當(dāng)檢索到的 5 篇文檔中有 2 篇被篡改時，ReliabilityRAG 的示例流程。在圖中所示的矛盾圖中，存在兩個最大獨(dú)立集（MIS）：{1, 2, 3} 和 {1, 2, 5}。由于 {1, 2, 3} 的字典序更小，因此選擇文檔 x?、x?、x? 進(jìn)行最終查詢。
圖 1：攻擊示例
二、一張“矛盾圖” + 兩次“加權(quán)投票”
2.1 ordinal 場景（只有排名）
算法 1 流程圖
- 孤立回答：把每條檢索結(jié)果單獨(dú)喂給 LLM，得到 k 條“小答案” y?…y?。
- 矛盾檢測：用 NLI 模型判斷 y? 與 y? 是否矛盾，構(gòu)建矛盾圖 G。
- 找最大獨(dú)立集（MIS）：在 G 上找出最大“內(nèi)部無矛盾”節(jié)點(diǎn)集；若并列，選字典序最小（= 更靠前排名）。
- 只把 MIS 里的原文檔送進(jìn) LLM生成最終回答。
定理 3.1 證明：只要惡意文檔 ≤ k/5 且 NLI 誤差可控，MIS 不含任何惡意文檔的概率 ≥ 1?e^(?Ω(k))。
2.2 cardinal 場景（有權(quán)重）
當(dāng) k 很大（50–200 篇）時，指數(shù)級 MIS 不可接受。作者提出加權(quán)采樣-聚合框架：
算法 2 流程圖
- 按指數(shù)衰減權(quán)重 w? ∝ γ^(i?1) 有放回采樣 m 篇，重復(fù) T 輪，得到 T 個“小上下文”。
- 每輪調(diào)用 MIS（或任意魯棒聚合器）產(chǎn)生中間答案。
- 最后再做一次“多數(shù)投票”或 MIS，輸出終版答案。
定理 B.4 給出采樣次數(shù) T 的閉合式，保證 97% 以上概率把惡意文檔稀釋到安全線以下。
三、高分通過嚴(yán)格測試
圖片
3.1 關(guān)鍵亮點(diǎn)
- rank-awareness：攻擊位置越靠后，防御效果越好；基線方法反而“后段崩”。
圖 5：攻擊位置 vs 準(zhǔn)確率
- 長文本不翻車：在傳記生成任務(wù)上，MIS 比 RobustRAG 高出 17 分（100 分制）。
- 多份惡意文檔也扛：suffix 攻擊同時污染 4/10 篇時，MIS 仍維持 52 % 準(zhǔn)確率，RobustRAG 掉到 26 %。
圖 3：多位置攻擊曲線
- 開銷可控：單次查詢增加 <1 s，主要耗時在“孤立回答”階段，可并行優(yōu)化。
四、一句話總結(jié)
ReliabilityRAG 首次把“搜索引擎排名”轉(zhuǎn)化為可證明的魯棒性，用一張矛盾圖+加權(quán)采樣，讓 RAG 系統(tǒng)在惡意文檔面前也能“穩(wěn)住別浪”。如果你正在部署搜索增強(qiáng) LLM，又怕被 SEO 注入惡意信息，這套即插即用的安全帽值得試試。
ReliabilityRAG: Effective and Provably Robust
Defense for RAG-based Web-Search
https://arxiv.org/pdf/2509.23519
Princeton & NVIDIA
會議：NeurIPS 2025（To appear）
https://github.com/zeyushen-yo/ReliabilityRAG
