開篇：RLHF 如何重塑大模型交互范式

在大模型從 "技術展示" 走向 "產業落地" 的進程中，如何讓模型輸出符合人類價值觀與使用習慣，成為比單純提升性能更關鍵的命題。基于人類反饋的強化學習（RLHF）正是解決這一問題的核心技術 —— 它通過將人類偏好轉化為訓練信號，引導模型生成更自然、安全、符合預期的回答。而支撐 RLHF 的核心，是一系列不斷進化的強化學習算法。本文將解析四大 RLHF 算法，揭示它們如何讓模型從 "會說話" 進化到 "懂人心"。

一、直接偏好優化（DPO）：極簡高效的偏好對齊

1.1 核心思想

DPO（Direct Preference Optimization）算法的創新在于繞過傳統獎勵模型訓練，直接通過人類偏好數據優化策略。其核心假設是：人類對兩個回答的偏好排序本身，就蘊含了足夠的優化信號。例如，當人類標注 "回答 A 優于回答 B" 時，DPO 會直接調整模型參數，使模型生成 A 的概率相對 B 更高。

1.2 數學表達

關鍵參數：

• pi_{theta}：當前優化的策略模型
• pi_{ref}：參考策略（如 SFT 模型）
• (x, y_w,y_l)：輸入文本 x 與優劣回答對(y_w,y_l)
• β：偏好信號強度系數（通常取 0.5-1.0）
• σ：sigmoid 函數，將數值映射到 (0,1) 區間

直觀理解：公式通過最大化 "好回答" 與 "差回答" 的對數概率比，實現偏好對齊。

1.3 工程優勢

• 計算高效：無需訓練額外的獎勵模型，顯存占用降低 30% 以上，適合資源受限場景；
• 收斂快速：某客服場景實測顯示，DPO 比傳統 PPO 收斂速度提升 40%，且避免了獎勵模型偏差問題。

二、近端策略優化（PPO）：工業界的中流砥柱

2.1 技術基石

PPO（Proximal Policy Optimization）作為 RLHF 的經典算法，通過 "信任區域" 思想限制策略更新幅度，避免優化過程中模型性能崩潰。PPO 的公式推導與參數調優是高頻考點。

2.2 核心公式

• 優勢估計：采用廣義優勢估計（GAE）計算(如下公式)，解決傳統 TD 誤差的方差問題：

• 關鍵參數：

ε：裁剪比例（通常設為 0.2），限制策略更新步長

γ：折扣因子（0.95-0.99），衡量未來獎勵的重要性

λ：GAE 平滑系數（0.9-1.0），控制偏差與方差的平衡

2.3 產業實踐

某電商對話模型采用 PPO 優化后，用戶滿意度提升 15%，但需注意：

• 超參數敏感：學習率需控制在10^{-5}量級，過大易導致策略震蕩；
• 計算開銷：每次迭代需存儲舊策略，顯存占用比 DPO 高約 50%。

三、組相關偏好優化（GRPO）：群體智慧的數學表達

3.1 創新思路

GRPO（Group-Related Preference Optimization）將人類偏好視為群體決策問題，通過分組比較提升優化穩定性。例如，將 10 個回答分為一組，計算每個回答在組內的相對優勢，避免單一偏好標注的噪聲影響。

3.2 優勢計算

• 核心邏輯：將個體獎勵r_{i}標準化為組內 Z-score，消除不同組標注尺度差異。

3.3 目標函數

• 獨特設計：引入 KL 散度懲罰項，強制新策略與參考策略保持相似，防止 "災難性遺忘"。

r_i,t(θ) = πθ(o_i,t|q,o_i,<t) / πθ_old(o_i,t|q,o_i,<t)

D_KL (πθ||πref)：KL 散度懲罰項，強制新策略與參考策略保持相似

3.4 適用場景

在醫療咨詢等對回答安全性要求極高的場景，GRPO 通過群體偏好聚合，將有害回答率降低至 0.8% 以下，較 PPO 提升 3 個百分點。

四、解耦裁剪和動態采樣（DAPO）：自適應優化的集大成者

4.1 技術融合

DAPO（Decoupled Clipping and Dynamic Sampling）結合了 DPO 的高效與 PPO 的穩定性，通過動態調整裁剪范圍和采樣策略，實現 "數據利用效率" 與 "優化穩定性" 的平衡。

4.2 動態裁剪機制

• 關鍵改進：使用動態裁剪范圍，對高置信度樣本采用更寬松的更新約束。

4.3 采樣約束

• 語義解釋：強制要求每組樣本中至少存在一個與參考回答等價的樣本，避免優化陷入局部最優。

4.4 性能表現

在代碼生成任務中，DAPO 相比 PPO 提升代碼準確率 9.2%，同時將訓練耗時縮短 25%，成為當前多模態對齊的首選算法之一。

五、算法對比與工程選型指南

問題："如何選擇 RLHF 算法？" 

可結合業務場景回答：如追求快速迭代選 DPO，注重穩定性選 PPO，對安全性要求極高選 GRPO，多模態任務優先 DAPO。

結語：從算法創新到產業價值

RLHF 算法的演進，本質是人類與 AI 交互語言的進化。從 DPO 的極簡設計到 DAPO 的自適應優化，這些算法不僅解決了 "模型對齊" 的技術難題，更開創了 "人類偏好可計算" 的新范式。

本文轉載自??????鴻煊的學習筆記??????，作者：乘風破浪jxj