思維鏈（Chain of Thought, CoT）作為大規(guī)模語言模型推理能力的關(guān)鍵技術(shù)，其性能在很大程度上取決于解碼策略的設(shè)計。自洽性（Self-Consistency, SC）方法通過對同一輸入生成多條推理軌跡，并以多數(shù)投票的方式選取最終答案，從而在無需額外模塊的前提下顯著提升了模型的推理準(zhǔn)確性和魯棒性。然而，關(guān)于SC機(jī)制的深層次原理尚未得以充分闡明，其中多樣性采樣參數(shù)對SC效果的影響也常被忽視。

在ACL 2025會議上，小紅書搜索團(tuán)隊從動態(tài)分布對齊的視角出發(fā)，系統(tǒng)性地考察了SC采樣過程中的溫度調(diào)整機(jī)制，并提出了一種基于置信度驅(qū)動的動態(tài)溫度校準(zhǔn)方法。該方法能夠根據(jù)生成推理答案的置信度動態(tài)調(diào)節(jié)采樣溫度，以實(shí)現(xiàn)推理路徑多樣性與答案分布收斂速度的平衡。

隨后，北京理工大學(xué)與小紅書的研究者在數(shù)學(xué)推理任務(wù)上對該方法進(jìn)行了大規(guī)模評估，涵蓋多種主流基座模型。實(shí)驗(yàn)結(jié)果顯示，與固定多樣性參數(shù)的對照方法相比，置信度驅(qū)動的動態(tài)采樣策略在有限樣本環(huán)境下具有更優(yōu)的性能表現(xiàn)，無需額外訓(xùn)練數(shù)據(jù)或模塊支撐，即可實(shí)現(xiàn)推理效果的穩(wěn)步提升。這一現(xiàn)象揭示了SC方法實(shí)質(zhì)上是動態(tài)采樣機(jī)制與漸進(jìn)演化答案分布之間的同步優(yōu)化問題，為進(jìn)一步理論分析與實(shí)踐應(yīng)用奠定了基礎(chǔ)。

論文標(biāo)題：

Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation

論文地址：

https://www.arxiv.org/abs/2502.19830

01、背景

自洽性方法（Self-Consistency, SC）是一種經(jīng)過長期驗(yàn)證的解碼策略，通過對同一輸入進(jìn)行多次采樣并以多數(shù)投票方式聚合結(jié)果，從而提升模型性能。大量研究表明，SC在多種任務(wù)中均能顯著增強(qiáng)語言模型的推理能力，但其潛在機(jī)制迄今尚未得到深入探究。

近期研究表明，通過對多條推理軌跡進(jìn)行多數(shù)投票，SC方法能夠有效避免陷入局部最優(yōu)并減少單次采樣所引入的高方差，從而使聚合結(jié)果逐步逼近模型的潛在真實(shí)答案分布（參見圖1(a)）?；诖艘娊?，本文首次從形式化層面給出SC方法的收斂性定義，并設(shè)計了對應(yīng)的采樣過程收斂判據(jù)。系統(tǒng)性分析表明，傳統(tǒng)觀點(diǎn)中對“固定真實(shí)分布”的假設(shè)在實(shí)際解碼過程中并不成立，而解碼參數(shù)（如溫度設(shè)置）對SC的收斂行為具有關(guān)鍵影響（參見圖1(b)）。

基于上述發(fā)現(xiàn)，本文圍繞以下兩個關(guān)鍵問題展開研究：

1. 在可用樣本數(shù)量受限的情況下，不同采樣多樣性策略如何影響采樣分布與潛在真實(shí)答案分布之間的對齊？
   
2. 能否通過主動校準(zhǔn)解碼參數(shù)以加速并穩(wěn)健收斂，而非依賴漸近收斂？

為此，我們對溫度參數(shù)在SC過程中的作用進(jìn)行了深入探討。

研究結(jié)果表明，溫度不僅調(diào)節(jié)采樣隨機(jī)性，而且直接塑造潛在答案分布。當(dāng)樣本數(shù)量趨于無窮大時，較高溫度有助于獲得更理想的真實(shí)分布；然而在樣本有限的情況下，最佳采樣溫度會隨樣本量減少而降低。該現(xiàn)象揭示了一種權(quán)衡：低多樣性采樣可迅速集中投票結(jié)果并抑制噪聲，但存在放大模型固有偏差的風(fēng)險；高多樣性采樣雖然分散結(jié)果、需更多樣本以實(shí)現(xiàn)穩(wěn)定，卻有助于探索潛在的更優(yōu)分布，從而在總體上提升SC方法的性能。

言而總之，我們的分析表明，SC的有效性取決于采樣分布的置信度與真實(shí)答案分布的內(nèi)在不確定性之間的動態(tài)對齊——這種關(guān)系受樣本數(shù)量的影響。理想情況下，應(yīng)該控制采樣分布，以便多數(shù)投票結(jié)果與真實(shí)分布緊密匹配，并在此基礎(chǔ)上探索更優(yōu)的真實(shí)分布。

基于以上分析，我們提出了一種置信度驅(qū)動的采樣溫度優(yōu)化機(jī)制，該機(jī)制根據(jù)答案分布計算實(shí)時置信度從而動態(tài)調(diào)整溫度。當(dāng)早期樣本在前兩次投票答案之間僅顯示出很小的概率差距時，我們的機(jī)制銳化采樣分布，以更好地將其與真實(shí)分布對齊。相反，當(dāng)置信度較高時，升高溫度以探索潛在的更優(yōu)分布。我們推導(dǎo)出一個置信度閾值來確定溫度調(diào)整的方向，為這一過程提供理論支持。這種閉環(huán)控制動態(tài)地將采樣分布與潛在答案分布對齊，確保高效收斂，同時積極追求更好的分布。

02、SC原理分析

2.1 分布視角下的SC有效性分析

從概率的角度來看，SC可以看作是真實(shí)答案分布p(y | x) 的蒙特卡羅估計。隨著樣本數(shù)量的增加，樣本形成的經(jīng)驗(yàn)分布近似于真實(shí)分布，最高頻的答案與真實(shí)分布下采樣概率最高的答案一致：

隨著采樣樣本數(shù)量的增加，聚合估計的可靠性顯著提升，多數(shù)投票機(jī)制亦逐步收斂于模型的潛在真實(shí)答案。為驗(yàn)證該見解，我們考察了top-1答案匹配率隨樣本規(guī)模變化的曲線特性。真實(shí)top-1答案，指通過從大規(guī)模采樣結(jié)果中構(gòu)造的近似真實(shí)分布中抽取所得的最優(yōu)答案。

圖2 的結(jié)果表明隨著樣本量的增加，top-1 答案匹配率逐漸接近 100%，準(zhǔn)確率不斷提高。這給予我們一個見解：SC性能的提高源于采樣分布中的top-1 答案逐漸與真實(shí)分布對齊的事實(shí)，最終達(dá)到了真實(shí)分布水平的準(zhǔn)確性。

2.2 SC收斂性分析

根據(jù)以上觀察和見解，由于真實(shí)分布的準(zhǔn)確性是固定的，因此保證SC的答案收斂。為了進(jìn)一步研究，我們根據(jù)柯西收斂準(zhǔn)則提供以下定義：

基于定義2.1，我們證明了SC在數(shù)據(jù)集上準(zhǔn)確率也收斂：

最后，我們給出在在實(shí)際采樣過程中SC的收斂判別準(zhǔn)則：

圖3 描述了各種模型在GSM8K數(shù)據(jù)集上的收斂行為，準(zhǔn)確率曲線根據(jù)定義2.3 繪制到收斂點(diǎn)，從中我們可以得到：

• 收斂速度與準(zhǔn)確率呈正相關(guān)。
• 收斂速度與溫度成反比。
• 最終收斂的準(zhǔn)確率在不同的溫度設(shè)置下是不同的。

基于它們，我們得出了：采樣多樣性會影響真實(shí)分布，影響SC的收斂效果和收斂速度。

2.3 多樣性解碼策略對SC的影響

為了更深入地了解多樣性對SC的影響，我們研究了準(zhǔn)確率隨溫度變化的關(guān)系。

收斂條件下

圖4 展示了在采樣至SC收斂情況下溫度和準(zhǔn)確率的變化曲線，這結(jié)果表明隨著溫度升高，單個樣本的準(zhǔn)確率呈下降趨勢，收斂后SC的準(zhǔn)確率呈上升趨勢（最佳點(diǎn)通常接近1.0）。集成學(xué)習(xí)中的分歧消解定理提供了一定的解釋性，這表明集成的整體性能是由單個模型的準(zhǔn)確性與其多樣性之間的權(quán)衡決定的。

我們獲得了結(jié)論：當(dāng)樣本量足夠時，應(yīng)該增加溫度以更好地探索具有更高準(zhǔn)確度的真實(shí)分布。

有限采樣

圖5 表示在有限采樣的情況下溫度和準(zhǔn)確率的熱力圖。我們發(fā)現(xiàn)：當(dāng)樣本量有限時，隨著樣本量的減小，最佳溫度逐漸向較低的值移動。根據(jù)以上分析，我們得出：樣本量決定了能可靠建模最大top-1 的置信水平。置信度較低的真實(shí)分布需要更大的數(shù)據(jù)量，以確保采樣的top-1 答案與收斂結(jié)果一致。

根據(jù)不同情況下的溫度和準(zhǔn)確率分析，我們推導(dǎo)出：SC的有效性取決于采樣分布的置信度與真實(shí)答案分布的內(nèi)在不確定性的動態(tài)對齊。

03、方法

部分的分析，我們提出了自適應(yīng)置信分布對齊機(jī)制，以克服傳統(tǒng)SC在固定樣本大小與溫度下的局限性。具體而言，我們根據(jù)實(shí)時計算的樣本分布置信度動態(tài)調(diào)整采樣溫度：當(dāng)置信度偏低且樣本量有限時，降低溫度以提高聚合決策的穩(wěn)定性；而在置信度較高的情形下，適當(dāng)升高溫度以促進(jìn)對潛在真實(shí)分布的探索。該機(jī)制通過主動收斂和探索的平衡，使SC在有限樣本條件下亦能迅速逼近真實(shí)答案，同時在必要時保持多樣性以發(fā)掘更優(yōu)解，從而顯著提升整體準(zhǔn)確性與魯棒性。

3.1 多樣性控制策略

動態(tài)溫度調(diào)整

我們引入了一種置信度驅(qū)動的多樣性優(yōu)化機(jī)制，將采樣分布與潛在答案分布動態(tài)對齊。FSD被用作置信度度量來量化Top-1答案和Top-2答案之間的差距。形式上，在解碼步驟t，有：

為了確保穩(wěn)定的優(yōu)化，我們設(shè)計了一個保守的調(diào)整規(guī)則，其不變區(qū)間在置信閾值 τ 附近。溫度 T 通過FSD進(jìn)行更新：

其中 ε 是穩(wěn)定性余量，為簡單起見，我們將其設(shè)置為 0.05。溫度 T 被限制在 [0.1, 1.0] 的區(qū)間以避免極值。

階段采樣策略

為了平衡探索和效率，我們設(shè)計了三階段抽樣規(guī)則：

• 探索階段：以預(yù)設(shè) 收集少量樣本 作為估計初始 的窗口。
  
• 自適應(yīng)階段：通過等式7 調(diào)整，然后生成(N : 總采樣數(shù)）個樣本。
  
• 利用階段：通過等式7 獲得最終并生成剩余的個樣本。

階段性方法逐漸從廣泛的探索轉(zhuǎn)向集中利用。最后，準(zhǔn)確度由 N 個樣本總數(shù)的多數(shù)投票計算。

3.2 理論推導(dǎo)

為了確保 FSD 閾值 τ 的合理有效選擇，我們構(gòu)建了一個單邊 z 檢驗(yàn)進(jìn)行分析。該測試采用零假設(shè)如下：

H0：當(dāng)前采樣的top-1 答案不是無限采樣下給定問題的真實(shí)答案。

為了簡化這個問題，我們假設(shè)只有當(dāng)前的top-2 答案可能會在無限采樣下成為真實(shí)答案。因此，我們很自然地關(guān)注FSD 和置信度之間的關(guān)系。因此，這個單邊 z 檢驗(yàn)可以描述為：

假設(shè)當(dāng)前樣本量接近無窮大，并且根據(jù)多項式分布和 Jensen 不等式，我們得到檢驗(yàn)量z的下界為：

當(dāng)時，其對應(yīng)的值約為 0.05。在此情形下，我們可以以較高置信度認(rèn)為模型輸出的最可能答案即為真實(shí)答案分布下的 top-1 答案。因此，可將 FSD 閾值設(shè)定為：

04、實(shí)驗(yàn)

4.1 主實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

• 數(shù)據(jù)集及模型：我們在兩個廣泛使用的數(shù)學(xué)推理基準(zhǔn)上評估我們的方法：GSM8K和 MATH。實(shí)驗(yàn)使用多個不同類別的基座模型來評估方法的效果和泛化性，包括Qwen、Llama、Mistral、DeepSeek、Gemma 和 Phi。
  
• 參數(shù)設(shè)置：為了系統(tǒng)地比較動態(tài)和靜態(tài)溫度策略，我們測試了初始溫度 T0 ∈ {0.1, 0.2,.., 1.0}，采樣數(shù) N ∈ {10, 20, 40}。
  
• 評估指標(biāo)：為了直觀地有效地評估方法之間的差異，我們計算了所有溫度下固定溫度采樣和動態(tài)溫度采樣的平均準(zhǔn)確率和最大準(zhǔn)確率。

動態(tài)溫度采樣減輕了固定溫度采樣帶來的性能損失。我們發(fā)現(xiàn)，動態(tài)溫度采樣在不同溫度下的平均準(zhǔn)確率優(yōu)于固定溫度采樣。這表明我們的方法不受溫度范圍的限制，可以識別對不同溫度下SC性能更有效的樣本。對于最優(yōu)溫度而言，這種方法減輕了樣本在單個固定溫度下無效采樣引起的性能損失。

對于不同的樣本，動態(tài)溫度采樣為每個樣本搜索更合適的溫度。同樣，我們觀察到動態(tài)溫度采樣在最大準(zhǔn)確率方面也提供了一定的改進(jìn)。這可以歸因于不同的樣品需要不同的溫度區(qū)間。固定溫度采樣只能在整體上追求期望準(zhǔn)確率，而動態(tài)溫度采樣自動搜索每個單獨(dú)樣本的最佳溫度，最大限度地優(yōu)化SC在各個初始溫度下的性能。

4.2 分析實(shí)驗(yàn)

我們對模型在不同溫度下的準(zhǔn)確性進(jìn)行了詳細(xì)的分析。圖 7 顯示了 Qwen2.5-Math-7B 模型的準(zhǔn)確度和溫度曲線。我們觀察到，在采樣大小為 20 和 40 的情況下，低溫范圍 (0.1-0.4) 和高溫范圍 (0.7-1.0) 都表現(xiàn)出顯著的改進(jìn)。這表明動態(tài)溫度采樣產(chǎn)生更穩(wěn)健的結(jié)果。

溫度調(diào)整方向分析

考慮樣本層級，我們首先分析了在整個動態(tài)溫度采樣過程中經(jīng)歷溫度增加、減少或保持不變的樣本的比例，如圖8所示。我們觀察到，在低溫范圍內(nèi)，至少80%的樣本經(jīng)歷了溫度升高。這一觀察結(jié)果與我們從數(shù)據(jù)集層面考慮得出的假設(shè)一致，這表明升高溫度往往會導(dǎo)致更高的預(yù)期準(zhǔn)確度。隨著初始溫度升高，溫度向上調(diào)整的樣本比例逐漸減小，表明對于當(dāng)前采樣的某些樣本，過高的溫度不足以自信地選擇正確的答案。因此，降低溫度對于提高置信度是必要的。此外，我們注意到，在采樣數(shù)擴(kuò)大的情況下，樣本溫度上升的比例更高，這與我們在第 2 部分的分析是一致的。

樣本在最佳溫度范圍的比例

我們分析了最終到達(dá)FSD閾值范圍樣本的比例。我們認(rèn)為到達(dá)FSD閾值范圍是樣本處于最佳溫度范圍內(nèi)的標(biāo)志。如圖9 所示，與固定溫度采樣相比，動態(tài)溫度采樣使得樣本進(jìn)入FSD閾值范圍的比例更高。這表明我們的方法可以更好地動態(tài)對齊數(shù)據(jù)集中更大范圍的樣本。

05、結(jié)語

本工作通過動態(tài)分布對齊的視角重新審視SC，打破被動收斂到固定答案分布的傳統(tǒng)觀點(diǎn)。我們證明了基于溫度的解碼塑造了采樣行為和潛在答案分布，揭示了多樣性驅(qū)動的探索和有限樣本收斂之間的權(quán)衡。通過引入置信度感知機(jī)制，該機(jī)制根據(jù)與分布的實(shí)時對齊動態(tài)調(diào)整溫度，彌合這一差距，從而實(shí)現(xiàn)動態(tài)采樣和演化答案分布之間的有效同步。

實(shí)驗(yàn)結(jié)果表明，這種方法優(yōu)于靜態(tài)策略，在沒有外部資源介入的情況下實(shí)現(xiàn)了穩(wěn)健的性能改進(jìn)。我們的研究結(jié)果將SC定位為有限樣本下的主動對齊挑戰(zhàn)，為推理任務(wù)中的自適應(yīng)聚合框架開辟了新途徑。

06、作者簡介

李易為

現(xiàn)博士就讀于北京理工大學(xué)，小紅書社區(qū)搜索組實(shí)習(xí)生。在 NeurIPS、ICLR、ACL、NAACL、AAAI 等機(jī)器學(xué)習(xí)、自然語言處理領(lǐng)域頂級會議上發(fā)表數(shù)篇一作論文，主要研究方向?yàn)榇笳Z言模型、開放域?qū)υ捝傻取?/span>

張驥

現(xiàn)本科就讀于北京理工大學(xué)，小紅書社區(qū)搜索組實(shí)習(xí)生。在ACL發(fā)表一篇論文。主要研究方向?yàn)榇笳Z言模型推理。

馮少雄

現(xiàn)負(fù)責(zé)小紅書社區(qū)搜索機(jī)制和垂類。曾負(fù)責(zé)個性化和長冷向量召回、大模型滿意度標(biāo)注/答案生成（基于后驗(yàn)行為RLHF）。兼職北京理工大學(xué)校外博導(dǎo)，在 ICLR、NeurIPS、AAAI、ACL、EMNLP 等機(jī)器學(xué)習(xí)、自然語言處理領(lǐng)域頂級會議上發(fā)表多篇論文，主要研究方向大模型推理/評測/蒸餾、生成式檢索、開放域?qū)υ捝伞?/span>