想象一下，如果 ChatGPT 等 AI 大模型在生成的時(shí)候，能把自己不確定的地方都標(biāo)記出來，你會(huì)不會(huì)對它們生成的答案放心很多？

上周末，OpenAI 發(fā)的一篇論文引爆了社區(qū)。這篇論文系統(tǒng)性地揭示了幻覺的根源，指出問題出在獎(jiǎng)勵(lì)上 —— 標(biāo)準(zhǔn)的訓(xùn)練和評估程序更傾向于對猜測進(jìn)行獎(jiǎng)勵(lì)，而不是在模型勇于承認(rèn)不確定時(shí)給予獎(jiǎng)勵(lì)。可能就是因?yàn)橐庾R到了這個(gè)問題，并找出了針對性的解法，GPT-5 的幻覺率大幅降低。

隨著 AI 大模型在醫(yī)療咨詢、法律建議等高風(fēng)險(xiǎn)領(lǐng)域的應(yīng)用不斷深入，幻覺問題會(huì)變得越來越棘手，因此不少研究者都在往這一方向發(fā)力。除了像 OpenAI 那樣尋找幻覺原因，還有不少人在研究幻覺檢測技術(shù)。然而，現(xiàn)有的幻覺檢測技術(shù)在實(shí)際應(yīng)用中面臨瓶頸，通常僅適用于簡短的事實(shí)性查詢，或需要借助昂貴的外部資源進(jìn)行驗(yàn)證。

針對這一挑戰(zhàn)，來自蘇黎世聯(lián)邦理工學(xué)院（ETH）和 MATS 的一項(xiàng)新研究提出了一種低成本、可擴(kuò)展的檢測方法，能夠?qū)崟r(shí)識別長篇內(nèi)容中的「幻覺 token」，并成功應(yīng)用于高達(dá) 700 億（70B）參數(shù)的大型模型。

• 論文標(biāo)題：Real-Time Detection of Hallucinated Entities in Long-Form Generation
• 論文地址：https://arxiv.org/abs/2509.03531
• 代碼地址：https://github.com/obalcells/hallucination_probes
• 項(xiàng)目地址：https://www.hallucination-probes.com/
• 代碼和數(shù)據(jù)集：https://github.com/obalcells/hallucination_probes

該方法的核心是精準(zhǔn)識別實(shí)體級幻覺，例如捏造的人名、日期或引文，而非判斷整個(gè)陳述的真?zhèn)巍＿@種策略使其能夠自然地映射到 token 級別的標(biāo)簽，從而實(shí)現(xiàn)實(shí)時(shí)流式檢測。

通過 token 級探針檢測幻覺實(shí)體。在長文本生成場景（Long Fact、HealthBench）中，線性探針的性能遠(yuǎn)超基于不確定性的基線方法，而 LoRA 探針則進(jìn)一步提升了性能。該探針同樣在短文本場景（TriviaQA）以及分布外推理領(lǐng)域（MATH）中表現(xiàn)出色。圖中展示的是 Llama-3.3-70B 模型的結(jié)果。

為實(shí)現(xiàn)這一目標(biāo)，研究人員開發(fā)了一種高效的標(biāo)注流程。他們利用網(wǎng)絡(luò)搜索來驗(yàn)證模型生成內(nèi)容中的實(shí)體，并為每一個(gè) token 標(biāo)注是否有事實(shí)依據(jù)。基于這個(gè)專門構(gòu)建的數(shù)據(jù)集，研究人員通過線性探針（linear probes）等簡潔高效的技術(shù)，成功訓(xùn)練出精準(zhǔn)的幻覺分類器。

在對四種主流模型家族的評估中，該分類器的表現(xiàn)全面超越了現(xiàn)有基準(zhǔn)方法。尤其是在處理長篇回復(fù)時(shí)，其效果遠(yuǎn)勝于語義熵（semantic entropy）等計(jì)算成本更高的方法。例如，在 Llama-3.3-70B 模型上，該方法的 AUC（分類器性能指標(biāo)）達(dá)到了 0.90，而基準(zhǔn)方法僅為 0.71。此外，它在短式問答場景中也展現(xiàn)出優(yōu)越的性能。

值得注意的是，盡管該分類器僅使用實(shí)體級標(biāo)簽進(jìn)行訓(xùn)練，它卻能有效識別數(shù)學(xué)推理任務(wù)中的錯(cuò)誤答案。這一發(fā)現(xiàn)表明，該方法具備了超越實(shí)體檢測的泛化能力，能夠識別更廣泛的邏輯錯(cuò)誤。

雖然原始數(shù)據(jù)集的標(biāo)注成本高昂，但研究發(fā)現(xiàn)，基于一個(gè)模型標(biāo)注的數(shù)據(jù)可被復(fù)用于訓(xùn)練針對其他模型的有效分類器。因此，研究團(tuán)隊(duì)已公開發(fā)布此數(shù)據(jù)集，以推動(dòng)社區(qū)的后續(xù)研究。

方法概覽

用于 token 級幻覺檢測的數(shù)據(jù)集構(gòu)建

為了訓(xùn)練能夠在 token 級別檢測幻覺的分類器，研究者需要一個(gè)對長文本中的幻覺內(nèi)容有精確標(biāo)注的數(shù)據(jù)集。這個(gè)過程分為兩步：(1) 生成包含事實(shí)與幻覺內(nèi)容的混合文本 ；(2) 對這些文本進(jìn)行準(zhǔn)確的 token 級標(biāo)注，以識別哪些 token 屬于被捏造的實(shí)體。下圖展示了該標(biāo)注流程。

token 級標(biāo)注流水線。

• 數(shù)據(jù)生成

研究者在 LongFact 數(shù)據(jù)集的基礎(chǔ)上，創(chuàng)建了一個(gè)規(guī)模擴(kuò)大 10 倍、領(lǐng)域更多樣化的提示集 LongFact++。

LongFact++ 包含主題查詢、名人傳記、引文生成和法律案件等四類提示，旨在誘導(dǎo)大語言模型生成富含實(shí)體的長文本，作為后續(xù)標(biāo)注的原材料。

• token 級標(biāo)注

與傳統(tǒng)方法將文本分解為 atomic claims 不同，該研究專注于標(biāo)注實(shí)體（如人名、日期、引文等），因?yàn)閷?shí)體有明確的 token 邊界，易于進(jìn)行流式檢測。他們使用帶有網(wǎng)絡(luò)搜索功能的 Claude 4 Sonnet 模型來自動(dòng)完成標(biāo)注流程。

該系統(tǒng)會(huì)識別文本中的實(shí)體，通過網(wǎng)絡(luò)搜索驗(yàn)證其真實(shí)性，并將其標(biāo)記為「Supported」（有證據(jù)支持）、「Not Supported」（被證實(shí)是捏造的）或「Insufficient Information」（信息不足）。

• 標(biāo)簽質(zhì)量

為驗(yàn)證標(biāo)注質(zhì)量，研究者進(jìn)行了兩項(xiàng)檢查。首先，人類標(biāo)注員的標(biāo)注結(jié)果與大模型自動(dòng)標(biāo)注結(jié)果的一致性為 84%。其次，在一個(gè)包含已知錯(cuò)誤（人工注入）的受控?cái)?shù)據(jù)集中，該標(biāo)注流程的召回率為 80.6%，假陽性率為 15.8% 。

訓(xùn)練 token 級探針

探針是一個(gè)附加在語言模型上的幻覺檢測器，它由一個(gè)線性的「價(jià)值頭」和可選的 LoRA 適配器組成。價(jià)值頭讀取模型中間層 ? 的隱藏狀態(tài) ，并輸出一個(gè) token 級的幻覺概率 ：

訓(xùn)練的總損失函數(shù)是一個(gè)組合，它既包括用于訓(xùn)練幻覺分類器的探針損失，也包括一個(gè)用于約束模型行為變化的正則化項(xiàng) 。

為了解決幻覺信號通常集中在少數(shù)幾個(gè)關(guān)鍵 token 上的問題，研究者設(shè)計(jì)了一種結(jié)合了逐詞損失和跨度最大值損失 的混合損失函數(shù) 。其公式如下：

這個(gè)設(shè)計(jì)的巧妙之處在于：對于一個(gè)被標(biāo)記為幻覺的文本片段，只要其中至少有一個(gè) token 的幻覺分?jǐn)?shù)很高，損失函數(shù)就會(huì)給予獎(jiǎng)勵(lì)，從而讓探針學(xué)會(huì)更精確地聚焦于關(guān)鍵錯(cuò)誤信號 。

實(shí)驗(yàn)結(jié)果

在長文本設(shè)置中（LongFact 和 HealthBench），token 級探針在兩個(gè)主要模型上的表現(xiàn)都顯著優(yōu)于基線方法（表 1）。簡單的線性探針始終實(shí)現(xiàn)了 0.85 以上的 AUC 值，而 LoRA 探針進(jìn)一步提升了性能，將 AUC 推高到 0.89 以上。

相比之下，基于不確定性的基線方法表現(xiàn)均不佳，AUC 值均未超過 0.76。在短文本設(shè)置中（TriviaQA），基線方法比長文本設(shè)置中表現(xiàn)更強(qiáng)，但探針仍然領(lǐng)先。LoRA 探針始終實(shí)現(xiàn)了超過 0.96 的 AUC 值，線性探針也表現(xiàn)良好。值得注意的是，本文提出的探針在 MATH 數(shù)據(jù)集上也取得了強(qiáng)勁的結(jié)果。這種分布外的性能表明，本文提出的方法捕獲了正確性的信號，這些信號的泛化性超出了其最初針對的虛構(gòu)實(shí)體。

作者在三個(gè)次要模型上復(fù)制了長文本結(jié)果，每個(gè)模型僅使用 2000 個(gè)其自身長文本生成的注釋樣本進(jìn)行訓(xùn)練。結(jié)果是相似的：LoRA 探針再次優(yōu)于線性探針，在 LongFact 生成上的 AUC 值在 0.87-0.90 之間。次要模型的完整結(jié)果顯示在表 5 中。

雖然 LoRA 探針的 AUC 值在多個(gè)設(shè)置中接近或超過 0.9，但長文本上的 R@0.1 最高約為 0.7，即在 10% 假陽性率下，檢測器能夠識別出大約三分之二的幻覺實(shí)體。這些結(jié)果既突出了相對于標(biāo)準(zhǔn)基于不確定性基線方法的實(shí)際收益，也表明在這類方法能夠廣泛應(yīng)用于高風(fēng)險(xiǎn)場景之前，仍有進(jìn)一步改進(jìn)的空間。

更多細(xì)節(jié)請參見原論文。