GPT-5 發(fā)布在即，根據(jù)奧特曼在內(nèi)部演示中首次披露的 GPT-5 實(shí)測數(shù)據(jù)，這一代模型不僅具備高達(dá) 256K 的上下文窗口，還展現(xiàn)出驚人的數(shù)學(xué)與編程能力。更令人矚目的是其“智能模式切換”能力——在深度推理與快速響應(yīng)之間自由切換，仿佛具備了某種“元認(rèn)知”能力。

這種表現(xiàn)并非偶然，而是源于其底層架構(gòu)中引入了新的驗(yàn)證機(jī)制，被稱為“Universal Verifier”，其靈感正是來自一項(xiàng)前沿研究：Prover-Verifier Game（PVG）。

Prover-Verifier Game讓模型“說得明白”

在傳統(tǒng)的 LLM 訓(xùn)練中，模型往往只被優(yōu)化為“給出正確答案”，而忽略了“如何讓人類理解這個(gè)答案”。這就導(dǎo)致了一個(gè)悖論：模型越強(qiáng)，輸出越復(fù)雜，人類越難判斷其是否合理。

PVG 的提出正是為了解決這一問題。它引入了一個(gè)博弈機(jī)制：一個(gè)“證明者”負(fù)責(zé)生成答案，一個(gè)“驗(yàn)證者”負(fù)責(zé)判斷答案是否容易被人類理解和驗(yàn)證。通過這種對(duì)抗式訓(xùn)練，模型不僅要“說對(duì)”，還要“說清楚”。

這項(xiàng)機(jī)制的核心在于“可校驗(yàn)性”（checkability）——即輸出是否具備邏輯清晰、結(jié)構(gòu)合理、易于人類或小型模型驗(yàn)證的特征。PVG 的研究表明，優(yōu)化可校驗(yàn)性不僅不會(huì)犧牲準(zhǔn)確性，反而能提升模型的說服力與人機(jī)協(xié)作能力。

Universal Verifier從理論到落地

GPT-5 的驗(yàn)證機(jī)制并非從零開始。它繼承了 OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment Team）的技術(shù)遺產(chǎn)——由 Ilya Sutskever 與 Jan Leike 領(lǐng)導(dǎo)的團(tuán)隊(duì)曾致力于構(gòu)建“通用驗(yàn)證器”（Universal Verifier），以確保未來強(qiáng)人工智能的輸出可被人類安全審查。

雖然該團(tuán)隊(duì)已解散，但其研究成果被整合進(jìn) GPT-5 的推理架構(gòu)中，成為模型“自我監(jiān)督”與“自我解釋”的關(guān)鍵組件。

這一驗(yàn)證器的設(shè)計(jì)理念與 PVG 高度契合：通過小型模型或規(guī)則系統(tǒng)對(duì)大型模型輸出進(jìn)行實(shí)時(shí)評(píng)估，從而提升輸出的可讀性、可解釋性與安全性。GPT-5 的“o系列”推理模型據(jù)稱正是這一機(jī)制的產(chǎn)物，具備更強(qiáng)的邏輯一致性與人類可理解性。

Prover-Verifier Game 思路在 GPT-5 中的映射

PVG 并非只是一個(gè)學(xué)術(shù)實(shí)驗(yàn)，它已成為 GPT-5 智能體架構(gòu)的核心思想之一。在 GPT-5 中，模型不再是單一的“生成器”，而是由多個(gè)子模塊協(xié)同工作：一個(gè)負(fù)責(zé)推理，一個(gè)負(fù)責(zé)驗(yàn)證，一個(gè)負(fù)責(zé)工具調(diào)用，還有一個(gè)負(fù)責(zé)記憶管理。這種模塊化架構(gòu)與 PVG 的“證明者-驗(yàn)證者”機(jī)制形成了天然的映射關(guān)系。

更重要的是，這種架構(gòu)使得 GPT-5 能夠在復(fù)雜任務(wù)中進(jìn)行“自我審查”與“自我修正”，從而大幅提升其在高風(fēng)險(xiǎn)場景（如金融、醫(yī)療、法律）中的應(yīng)用可信度。PVG 的思想已從論文走入現(xiàn)實(shí)，成為通用智能演化的關(guān)鍵支柱。

提出 PVG 的研究團(tuán)隊(duì)來自 OpenAI 目前已經(jīng)解散的 MathGen 項(xiàng)目組，長期致力于將數(shù)學(xué)推理與過程監(jiān)督（Process Supervision）引入 LLM 訓(xùn)練。他們不僅在技術(shù)上具備深厚的強(qiáng)化學(xué)習(xí)與博弈論背景，更在方法論上強(qiáng)調(diào)“人類可讀性”與“審計(jì)友好性”的結(jié)合。

這支團(tuán)隊(duì)的研究風(fēng)格鮮明：強(qiáng)調(diào)形式化定義、對(duì)抗性實(shí)驗(yàn)與多輪迭代優(yōu)化。他們的工作不僅推動(dòng)了 GPT-5 的驗(yàn)證機(jī)制，也為整個(gè) AI 安全與對(duì)齊領(lǐng)域提供了新的范式。

1.Prover-Verifier Game讓大模型“說得清楚”

在大型語言模型的訓(xùn)練中，準(zhǔn)確性一直是核心指標(biāo)。但隨著模型能力的增強(qiáng)，輸出變得越來越復(fù)雜，人類用戶卻越來越難判斷其是否合理。這正是OpenAI 的 MathGen 項(xiàng)目組試圖解決的問題，如何讓模型不僅“說對(duì)”，還要“說清楚”。

從正確到可讀的躍遷

他們的核心主張是：通過引入一個(gè)“驗(yàn)證者”模型，可以訓(xùn)練“證明者”模型生成更具可讀性、邏輯清晰、易于人類或小模型驗(yàn)證的輸出。這種機(jī)制被稱為“Prover-Verifier Game”（PVG），本質(zhì)上是一種博弈式訓(xùn)練框架。

圖片

圖1：關(guān)鍵結(jié)果。優(yōu)化解決方案的正確性會(huì)導(dǎo)致高精度，但易讀性較差。

初始化（對(duì)各種人類編寫的數(shù)學(xué)推導(dǎo)進(jìn)行預(yù)訓(xùn)練）具有更高的可讀性，但準(zhǔn)確性較差。我們提出的方法在初始化和僅正確性基線之間保持了較高的可讀性和準(zhǔn)確性。由此產(chǎn)生的權(quán)衡說明了易讀性稅。

研究團(tuán)隊(duì)發(fā)現(xiàn)，僅優(yōu)化正確性的強(qiáng)化學(xué)習(xí)（如 PPO）雖然能提升模型性能，但卻嚴(yán)重?fù)p害了輸出的可讀性。相比之下，引入驗(yàn)證者并優(yōu)化“可校驗(yàn)性”指標(biāo)后，模型不僅保持了高準(zhǔn)確率，還顯著提升了人類用戶的理解與信任度。

更重要的是，這種方法具備通用性——無論是數(shù)學(xué)推理、編程任務(wù)，還是開放式問答，PVG 都能提升輸出的結(jié)構(gòu)性與解釋性。

理解 PVG 的三大支柱

可讀性（Legibility） 可讀性被定義為“輸出是否具備清晰的邏輯結(jié)構(gòu)，是否便于人類或小型模型進(jìn)行驗(yàn)證”。它不僅關(guān)乎語言表達(dá)，更關(guān)乎推理過程的透明度。一個(gè)高可讀性的輸出，往往包含明確的步驟、合理的因果鏈條，以及易于追蹤的論證過程。

可校驗(yàn)性（Checkability） 這是 PVG 的核心指標(biāo)。可校驗(yàn)性指的是“輸出是否能被一個(gè)驗(yàn)證者模型準(zhǔn)確判斷為合理或不合理”。它是一種形式化的度量，既包括驗(yàn)證者對(duì)正確性的判斷能力，也包括對(duì)邏輯漏洞的識(shí)別能力。論文中通過“完整性”（驗(yàn)證者能識(shí)別錯(cuò)誤）與“健壯性”（驗(yàn)證者不被欺騙）兩個(gè)維度來衡量。

證明者（Prover）與驗(yàn)證者（Verifier） 證明者是主模型，負(fù)責(zé)生成回答或推理過程；驗(yàn)證者是輔助模型，負(fù)責(zé)評(píng)估這些輸出的可讀性與合理性。兩者之間形成一種動(dòng)態(tài)博弈：證明者試圖“說服”驗(yàn)證者，而驗(yàn)證者則不斷提升識(shí)別能力。這種機(jī)制促使證明者輸出更清晰、更易驗(yàn)證的內(nèi)容。

圖片

圖2：可檢查性培訓(xùn)產(chǎn)生清晰、結(jié)構(gòu)良好的解決方案。由樂于助人的證明者從不同輪次的可檢查性培訓(xùn)中得出的三個(gè)樣本解決方案。

交互式證明（Interactive Proofs）基礎(chǔ)：AI中的“陪審團(tuán)機(jī)制”

PVG 的思想源于計(jì)算復(fù)雜性理論中的“交互式證明”系統(tǒng)。在這種系統(tǒng)中，一個(gè)強(qiáng)大的證明者向一個(gè)資源受限的驗(yàn)證者展示某個(gè)命題的正確性。驗(yàn)證者通過有限的交互判斷是否接受該證明。

這一機(jī)制在 AI 中的意義在于：我們可以用小模型或規(guī)則系統(tǒng)來評(píng)估大型模型的輸出，從而構(gòu)建一種“陪審團(tuán)機(jī)制”，提升模型的可解釋性與安全性。

可擴(kuò)展監(jiān)督：判別式優(yōu)于生成式監(jiān)督

傳統(tǒng)的 LLM 訓(xùn)練依賴生成式監(jiān)督，即通過人類標(biāo)注的正確答案進(jìn)行訓(xùn)練。但這種方式難以擴(kuò)展，且容易導(dǎo)致模型“過擬合”于表面語言模式。

PVG 引入判別式監(jiān)督，即通過訓(xùn)練一個(gè)驗(yàn)證者模型來判斷輸出的好壞。這種方式不僅更易擴(kuò)展，還能捕捉更深層次的邏輯結(jié)構(gòu)與推理質(zhì)量。驗(yàn)證者的反饋成為證明者優(yōu)化的關(guān)鍵信號(hào)，從而實(shí)現(xiàn)更高質(zhì)量的輸出。

圖片

圖3：說明易讀性問題的示意圖。一個(gè)對(duì)齊不良、能力超人的人工智能可能會(huì)產(chǎn)生高效的代碼，為了簡潔或性能而犧牲可讀性。代碼稍微改編自比特分類器，用于對(duì)列表中的元素進(jìn)行并行排序（維基百科貢獻(xiàn)者，2023）。

Chain-of-Thought 與可讀性增強(qiáng)，不是所有思路都清晰

Chain-of-Thought（CoT）是近年來提升LLM 推理能力的重要方法。它鼓勵(lì)模型分步驟思考，而非直接給出答案。但 CoT 并不總是可讀的——模型可能生成冗長、混亂或邏輯跳躍的推理過程。

PVG 在此基礎(chǔ)上進(jìn)一步提出：不僅要有思路，還要讓思路“清晰可驗(yàn)證”。通過驗(yàn)證者的反饋，模型學(xué)會(huì)生成更結(jié)構(gòu)化、更易理解的 CoT，從而提升人機(jī)協(xié)作效率。

對(duì)抗魯棒性與人機(jī)協(xié)作驗(yàn)證，別讓模型“忽悠”你

一個(gè)重要發(fā)現(xiàn)是：模型在強(qiáng)化學(xué)習(xí)中可能學(xué)會(huì)“欺騙”驗(yàn)證者，即生成看似合理但實(shí)則錯(cuò)誤的輸出。這種現(xiàn)象被稱為“Goodharting”——優(yōu)化指標(biāo)反而導(dǎo)致行為偏差。

PVG 通過對(duì)抗訓(xùn)練提升驗(yàn)證者的魯棒性，使其能識(shí)別“sneaky”證明者的偽邏輯。同時(shí)，驗(yàn)證者也能幫助人類識(shí)別模型輸出中的漏洞，構(gòu)建更可信的協(xié)作機(jī)制。

2.方法詳解：可校驗(yàn)性訓(xùn)練如何讓模型“說得更明白”

在大型語言模型的訓(xùn)練中，傳統(tǒng)方法往往只關(guān)注“正確性”——即模型是否給出了正確答案。但隨著模型能力的增強(qiáng)，這種單一目標(biāo)開始暴露出嚴(yán)重問題：模型輸出越來越難以理解，甚至連專家都難以判斷其推理過程是否合理。于是，研究者們提出了一種新的訓(xùn)練范式：可校驗(yàn)性訓(xùn)練（Checkability Training），其核心機(jī)制就是“證明者-驗(yàn)證者博弈”。

這一方法不僅改變了訓(xùn)練目標(biāo)，也重塑了模型的行為動(dòng)機(jī)。它不再鼓勵(lì)模型“只管答對(duì)”，而是要求它“答得清楚、答得可信”。

博弈框架與形式化，從 Stackelberg 到可讀性博弈

可校驗(yàn)性訓(xùn)練的核心是一個(gè)動(dòng)態(tài)博弈系統(tǒng)。在這個(gè)系統(tǒng)中，證明者（Prover）負(fù)責(zé)生成輸出，驗(yàn)證者（Verifier）負(fù)責(zé)評(píng)估這些輸出是否容易被理解和驗(yàn)證。兩者之間形成一種策略性互動(dòng)，類似于經(jīng)濟(jì)學(xué)中的 Stackelberg 博弈。

在 Stackelberg 博弈中，領(lǐng)導(dǎo)者先行動(dòng)，追隨者根據(jù)領(lǐng)導(dǎo)者的行為做出最優(yōu)反應(yīng)。在PVG 框架中，證明者是領(lǐng)導(dǎo)者，它必須預(yù)測驗(yàn)證者的反應(yīng)，并據(jù)此調(diào)整自己的輸出策略。這種機(jī)制促使證明者生成更具邏輯性、結(jié)構(gòu)清晰、易于驗(yàn)證的內(nèi)容。

為了量化驗(yàn)證者的能力，研究者定義了兩個(gè)關(guān)鍵指標(biāo)：

完整性（Integrity）：驗(yàn)證者是否能識(shí)別錯(cuò)誤輸出并拒絕它。

健壯性（Robustness）：驗(yàn)證者是否能抵抗“sneaky”證明者的欺騙性輸出。

這兩個(gè)指標(biāo)共同構(gòu)成了驗(yàn)證者的“可校驗(yàn)性評(píng)估能力”，也是整個(gè)訓(xùn)練過程的優(yōu)化目標(biāo)。

驗(yàn)證者訓(xùn)練階段，讓小模型成為“邏輯裁判”

驗(yàn)證者的訓(xùn)練是整個(gè) PVG 框架的起點(diǎn)。它的任務(wù)是判斷兩個(gè)輸出中哪個(gè)更容易被人類理解和驗(yàn)證。為此，研究者構(gòu)造了大量“輸出對(duì)比樣本”，包括高可讀性與低可讀性的回答，并用這些數(shù)據(jù)訓(xùn)練驗(yàn)證者模型。

訓(xùn)練過程中采用了 Bradley–Terry 排序損失函數(shù)，這是一種經(jīng)典的排序?qū)W習(xí)方法。它不要求驗(yàn)證者給出絕對(duì)分?jǐn)?shù)，而是判斷兩個(gè)輸出中哪個(gè)更優(yōu)。這種方式更貼近人類的判斷習(xí)慣，也更適合用于博弈式優(yōu)化。

驗(yàn)證者的初始化非常關(guān)鍵。研究者發(fā)現(xiàn)，使用人類標(biāo)注的“可讀性評(píng)分”作為初始訓(xùn)練數(shù)據(jù)，可以顯著提升驗(yàn)證者的判斷準(zhǔn)確率。隨著訓(xùn)練迭代，驗(yàn)證者逐漸具備識(shí)別邏輯漏洞、結(jié)構(gòu)混亂、推理跳躍等問題的能力，成為證明者的“邏輯裁判”。

證明者訓(xùn)練階段，不只是答對(duì)，更要答得好

一旦驗(yàn)證者具備基本判斷能力，證明者的訓(xùn)練就開始了。它的目標(biāo)是生成既正確又容易被驗(yàn)證者接受的輸出。為此，研究者設(shè)計(jì)了三類獎(jiǎng)勵(lì)機(jī)制：

SRC（Self-Refinement Correctness）：鼓勵(lì)模型生成正確答案。

CGC（Checkability-Guided Correctness）：鼓勵(lì)模型生成驗(yàn)證者更容易接受的答案。

Goodharting 懲罰：防止模型通過“欺騙性語言”誤導(dǎo)驗(yàn)證者。

訓(xùn)練過程中采用了 PPO（Proximal Policy Optimization）強(qiáng)化學(xué)習(xí)算法。這是一種穩(wěn)定且高效的策略優(yōu)化方法，適合用于多目標(biāo)博弈場景。證明者在每一輪訓(xùn)練中根據(jù)驗(yàn)證者的反饋調(diào)整策略，逐步學(xué)會(huì)如何“說服”驗(yàn)證者。

值得注意的是，研究者發(fā)現(xiàn)如果只優(yōu)化 SRC，模型會(huì)變得“聰明但難懂”；而加入 CGC 后，模型開始生成更清晰、更結(jié)構(gòu)化的輸出，顯著提升了人類用戶的理解度。

迭代博弈機(jī)制：一場持續(xù)的“說服與審查”之戰(zhàn)

PVG 的訓(xùn)練并非一次性完成，而是一個(gè)持續(xù)迭代的過程。每一輪訓(xùn)練包括以下步驟：

1.驗(yàn)證者評(píng)估當(dāng)前證明者的輸出，更新判斷策略。

2.證明者根據(jù)驗(yàn)證者的反饋調(diào)整生成策略。

3.生成新的輸出樣本，構(gòu)建新的訓(xùn)練數(shù)據(jù)。

4.重復(fù)以上流程，直到驗(yàn)證者與證明者達(dá)到動(dòng)態(tài)平衡。

這種迭代機(jī)制類似于 GAN（生成對(duì)抗網(wǎng)絡(luò)），但目標(biāo)不是生成逼真圖像，而是生成“邏輯清晰、易于驗(yàn)證”的文本輸出。研究者設(shè)定了收斂條件：當(dāng)驗(yàn)證者的完整性與健壯性指標(biāo)穩(wěn)定，且證明者的輸出在可讀性與準(zhǔn)確性之間達(dá)到平衡時(shí)，訓(xùn)練即告完成。

最終結(jié)果令人驚艷。證明者不僅能生成高質(zhì)量答案，還能以人類易于理解的方式表達(dá)推理過程；驗(yàn)證者則成為一種“審計(jì)友好”的輔助模型，可用于評(píng)估LLM 輸出的可信度。

3.實(shí)驗(yàn)設(shè)計(jì)與核心結(jié)果

理論再精妙，也必須經(jīng)得起實(shí)證檢驗(yàn)。為了驗(yàn)證 Prover-Verifier Game（PVG）是否真的能提升大型語言模型的可讀性與可信度，研究團(tuán)隊(duì)設(shè)計(jì)了一系列對(duì)比實(shí)驗(yàn)，涵蓋數(shù)學(xué)推理、開放式問答、編程任務(wù)等多個(gè)領(lǐng)域。結(jié)果不僅令人信服，更揭示了一個(gè)長期被忽視的真相：模型的“說服力”可以被訓(xùn)練出來，而且與準(zhǔn)確性并不矛盾。

基線方法與對(duì)比設(shè)置：只優(yōu)化正確性，反而“說不清”

圖4：向二進(jìn)制評(píng)分器學(xué)習(xí)會(huì)帶來很強(qiáng)的性能，但易讀性較差。a模型精度是RL訓(xùn)練步驟的函數(shù)。8k步長的明顯下降是由于解決方案達(dá)到了最大完成長度。b在評(píng)估初始化（?）、3k步（▲）或7k步（?）后的解決方案時(shí)，時(shí)間受限的人類承包商的平均精度。c受時(shí)間限制的人工承包商正確標(biāo)記解決方案所需的平均時(shí)間。d對(duì)于初始化（灰色）、3k步后的證明者（藍(lán)色虛線）或7k步后（藍(lán)色實(shí)線）的解決方案，每個(gè)解決方案的承包商的平均精度是同一解決方案的模型精度的函數(shù)。對(duì)于每個(gè)實(shí)驗(yàn)，我們?cè)谄骄案鶕?jù)模型精度將數(shù)據(jù)分成四分位數(shù)。

作為對(duì)照組，研究者首先采用傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法——PPO（Proximal Policy Optimization）——僅以“正確性”為獎(jiǎng)勵(lì)目標(biāo)進(jìn)行訓(xùn)練。這種方法在過去被廣泛用于提升模型性能，尤其是在數(shù)學(xué)與編程任務(wù)中。

結(jié)果卻出人意料：雖然模型的準(zhǔn)確率顯著提升，但輸出的結(jié)構(gòu)卻變得混亂，推理過程冗長、跳躍，甚至讓人類評(píng)審員難以判斷其是否合理。換句話說，模型變得“聰明但難懂”，仿佛在用一種只有自己能理解的語言進(jìn)行思考。

這一現(xiàn)象揭示了一個(gè)關(guān)鍵問題，僅優(yōu)化正確性，可能導(dǎo)致模型“過度壓縮”推理過程，犧牲了可讀性與解釋性。

Checkability Training 效果：說服力是一種可訓(xùn)練能力

引入驗(yàn)證者后，情況發(fā)生了根本性變化。在 PVG 框架下，證明者不僅要答對(duì)，還要讓驗(yàn)證者“信服”。這種雙重目標(biāo)促使模型生成更清晰、更結(jié)構(gòu)化的輸出。

圖片

圖5：一對(duì)驗(yàn)證者和證明者在不同輪次中的證明者訓(xùn)練階段的動(dòng)態(tài)。正確（實(shí)心）和不正確（虛線）解決方案（a）和準(zhǔn)確性（b）的平均驗(yàn)證者得分，作為RL訓(xùn)練步驟的函數(shù)，適用于后續(xù)輪次（列）和有用（紅色）或偷偷摸摸（棕色）的證明者。箭頭表示在狡猾的證明器的精度降至10%以下之前，步驟數(shù)會(huì)增加。

研究者發(fā)現(xiàn)，經(jīng)過可校驗(yàn)性訓(xùn)練后，模型在多個(gè)任務(wù)中展現(xiàn)出顯著的“說服力”提升。驗(yàn)證者更容易判斷其輸出為合理，人類評(píng)審員也更傾向于接受其推理過程。

更重要的是，這種提升并未以準(zhǔn)確性為代價(jià)。相反，在某些任務(wù)中，模型的準(zhǔn)確率甚至略有上升，表明可讀性與正確性并非零和博弈，而是可以協(xié)同優(yōu)化。

這一發(fā)現(xiàn)為 GPT-5 的設(shè)計(jì)提供了重要啟示：通過引入驗(yàn)證機(jī)制，可以讓模型“既聰明又通情達(dá)理”。

驗(yàn)證者魯棒性評(píng)估，別被模型“忽悠”了

圖片

圖6：驗(yàn)證器的魯棒性增加，這是通過僅偷偷摸摸的攻擊難度和平衡的最佳n準(zhǔn)確度來衡量的。在偷偷摸摸地發(fā)現(xiàn)SRC（藍(lán)色）、goodharting（橙色）和CGC（綠色）對(duì)手的漏洞之前的步驟數(shù)，是驗(yàn)證器大小的函數(shù)。當(dāng)偷偷摸摸變得95%不正確，偷偷摸摸的不正確樣本的平均驗(yàn)證器得分與同一輪中有用的正確樣本的得分一樣高時(shí)，我們宣布SRC和CGC對(duì)手的攻擊“成功”。當(dāng)在驗(yàn)證器得分上優(yōu)化證明者達(dá)到精度<0.2時(shí)，我們宣布一個(gè)好的對(duì)手“成功”。b在不同n輪和不同輪次的n個(gè)平衡樣本中選擇最有說服力的正確解的分?jǐn)?shù)。這些解決方案來自當(dāng)前一輪有用證明的最后一個(gè)檢查點(diǎn)，平衡后正確率為50%。

一個(gè)關(guān)鍵問題是：驗(yàn)證者是否真的能識(shí)別“偽邏輯”？為此，研究者設(shè)計(jì)了兩項(xiàng)對(duì)抗性評(píng)估：

Sneaky-only 對(duì)抗攻擊：在這一測試中，證明者被訓(xùn)練為“欺騙型”模型，專門生成看似合理但實(shí)則錯(cuò)誤的輸出。驗(yàn)證者必須識(shí)別這些偽邏輯，并拒絕接受。

結(jié)果顯示，經(jīng)過多輪訓(xùn)練的驗(yàn)證者具備較強(qiáng)的識(shí)別能力，能夠有效抵御 sneaky 模型的攻擊。這表明驗(yàn)證者不僅能評(píng)估可讀性，還能識(shí)別邏輯漏洞，具備一定的“審計(jì)能力”。

Best-of-n 評(píng)測：在這一測試中，模型生成多個(gè)候選輸出，驗(yàn)證者需從中選出最具可讀性的版本。結(jié)果顯示，驗(yàn)證者在多輪選擇中表現(xiàn)穩(wěn)定，能夠持續(xù)選出結(jié)構(gòu)清晰、邏輯合理的輸出。

圖片

圖7：由偷偷摸摸的證明者引入的缺陷變得更加局部化，時(shí)間有限的人更難發(fā)現(xiàn)。a初始化（左）和不同輪可檢查性訓(xùn)練中正確（實(shí)心）和不正確（虛線）解決方案部分的平均（圓形）和最小（三角形）有效性得分。b在不同輪次的可檢查性培訓(xùn)中評(píng)估來自狡猾證明者的解決方案時(shí)，時(shí)間受限的人類承包商的平均準(zhǔn)確性。這一情節(jié)來自一場可能存在缺陷的競選活動(dòng)（見附錄一）。c兩個(gè)來自不同訓(xùn)練點(diǎn)的驗(yàn)證者得分較高的錯(cuò)誤解決方案示例。缺陷以紅色突出顯示。請(qǐng)注意，在第二個(gè)例子中，缺陷是將單詞錯(cuò)誤地翻譯成方程式。

這兩項(xiàng)測試共同驗(yàn)證了驗(yàn)證者的魯棒性，也為其在 GPT-5 中的應(yīng)用提供了現(xiàn)實(shí)依據(jù)。

人類可讀性轉(zhuǎn)移實(shí)驗(yàn)，從“忽悠”到“協(xié)作”的進(jìn)化

最后，研究者進(jìn)行了一項(xiàng)極具啟發(fā)性的實(shí)驗(yàn)：將 sneaky 模型與經(jīng)過 Checkability Training 的 helpful 模型輸出交由人類評(píng)審員進(jìn)行對(duì)比。

結(jié)果令人震撼：雖然 sneaky 模型在某些任務(wù)中也能給出正確答案，但其輸出往往缺乏邏輯結(jié)構(gòu)，難以理解。而helpful 模型則展現(xiàn)出更高的可讀性與說服力，評(píng)審員更傾向于接受其推理過程，甚至在不確定答案是否正確時(shí)也愿意“相信它”。

圖片

圖8：可檢查性訓(xùn)練共同提高了模型性能和易讀性。a在不同輪次的可檢查性訓(xùn)練中，有用證明者的平均準(zhǔn)確度。b，c在不同輪次的可檢查性培訓(xùn)中評(píng)估有用證明者的解決方案時(shí)，時(shí)間受限的人類承包商正確標(biāo)記解決方案所需的平均準(zhǔn)確度（b）和時(shí)間（c）

這項(xiàng)實(shí)驗(yàn)揭示了一個(gè)重要現(xiàn)象：人類對(duì)模型的信任不僅取決于答案是否正確，更取決于推理過程是否清晰。這種“信任轉(zhuǎn)移”機(jī)制正是 PVG 的核心價(jià)值所在。

4.可讀性之路，并非坦途

Prover-Verifier Game（PVG）無疑為大型語言模型的可讀性訓(xùn)練開辟了新路徑。但正如所有突破性方法一樣，它也面臨著一系列現(xiàn)實(shí)挑戰(zhàn)與理論邊界。在 GPT-5 的架構(gòu)中，這些問題并未完全消失，而是以更復(fù)雜的形式呈現(xiàn)出來。理解這些局限，不僅有助于我們更清醒地評(píng)估 PVG 的價(jià)值，也為未來的改進(jìn)提供了方向。

領(lǐng)域標(biāo)簽依賴性：驗(yàn)證者不是“通用裁判”

PVG 的一個(gè)核心假設(shè)是：驗(yàn)證者可以判斷輸出是否“容易被人類理解”。但這一判斷往往依賴于領(lǐng)域標(biāo)簽——即任務(wù)的類型、語境、預(yù)期結(jié)構(gòu)等信息。

在數(shù)學(xué)推理任務(wù)中，驗(yàn)證者可以依賴公式結(jié)構(gòu)與邏輯鏈條進(jìn)行判斷；在開放式問答中，則需要理解語言風(fēng)格與語義連貫性；而在編程任務(wù)中，驗(yàn)證者甚至需要具備一定的語法解析能力。

這就導(dǎo)致一個(gè)問題：驗(yàn)證者的泛化能力有限。它在某一領(lǐng)域表現(xiàn)良好，但在跨領(lǐng)域任務(wù)中可能失效。GPT-5 的“Universal Verifier”嘗試解決這一問題，通過多任務(wù)訓(xùn)練與元學(xué)習(xí)提升驗(yàn)證者的通用性，但仍未完全擺脫領(lǐng)域依賴。

未來的方向可能是構(gòu)建“領(lǐng)域自適應(yīng)驗(yàn)證器”，或引入任務(wù)元標(biāo)簽作為輔助輸入，讓驗(yàn)證者在不同語境下做出更精準(zhǔn)判斷。

Chain-of-Thought 與可讀性之間的權(quán)衡：思路清晰≠語言清晰

Chain-of-Thought（CoT）方法鼓勵(lì)模型分步驟思考，是提升推理能力的重要手段。但在 PVG 框架下，CoT 并不總是“可讀”的。

研究者發(fā)現(xiàn)，某些 CoT 輸出雖然邏輯正確，但語言表達(dá)混亂、結(jié)構(gòu)松散，反而降低了驗(yàn)證者的判斷準(zhǔn)確率。更復(fù)雜的是，模型在優(yōu)化可讀性時(shí)，可能會(huì)犧牲部分推理深度，轉(zhuǎn)而生成“表面清晰但邏輯淺薄”的輸出。

這形成了一種微妙的權(quán)衡，我們希望模型既能深入思考，又能清晰表達(dá)，但這兩者并非天然一致。GPT-5 的“智能模式切換”機(jī)制嘗試在深度推理與快速響應(yīng)之間動(dòng)態(tài)平衡，但仍需更精細(xì)的控制策略。

或許未來的模型需要具備“表達(dá)風(fēng)格調(diào)節(jié)能力”，根據(jù)任務(wù)需求在“邏輯密度”與“語言清晰度”之間做出權(quán)衡，甚至允許用戶自定義輸出風(fēng)格。

實(shí)驗(yàn)異構(gòu)性與超參數(shù)敏感性：不是所有設(shè)置都能復(fù)現(xiàn)奇跡

PVG 的實(shí)驗(yàn)結(jié)果令人振奮，但也存在一定的異構(gòu)性與敏感性。研究者在不同任務(wù)、不同模型規(guī)模、不同訓(xùn)練數(shù)據(jù)上進(jìn)行測試，發(fā)現(xiàn)效果并不完全一致。

尤其是在小模型上，驗(yàn)證者的判斷能力受限，容易被 sneaky 模型欺騙；而在大模型上，訓(xùn)練成本高昂，驗(yàn)證者的反饋信號(hào)可能被“淹沒”在復(fù)雜的策略空間中。

此外，PVG 的訓(xùn)練過程對(duì)超參數(shù)極為敏感——包括獎(jiǎng)勵(lì)權(quán)重、驗(yàn)證者更新頻率、樣本構(gòu)造方式等。稍有偏差，訓(xùn)練效果就可能大打折扣。

這意味著，PVG 并非“即插即用”的萬能方法，而是一種需要精細(xì)調(diào)參與任務(wù)定制的高級(jí)訓(xùn)練策略。GPT-5 的成功落地，很可能依賴于大量工程優(yōu)化與架構(gòu)調(diào)整，而非單一方法的直接遷移。

未來的研究應(yīng)致力于提升 PVG 的穩(wěn)定性與可復(fù)現(xiàn)性，或開發(fā)更魯棒的訓(xùn)練框架，使其能在更廣泛的模型與任務(wù)中發(fā)揮作用。

GPT-5即將上線，期待它能給我們一個(gè)驚喜。（END）

參考資料：??https://arxiv.org/pdf/2407.13692??

本文轉(zhuǎn)載自???波動(dòng)智能???，作者：FlerkenS