強(qiáng)化學(xué)習(xí)讓大模型自動(dòng)糾錯(cuò)，數(shù)學(xué)、編程性能暴漲，DeepMind新作

作者：機(jī)器之心 2024-09-23 08:30:00

無(wú)需依賴(lài)外部反饋或額外模型，純純的自我糾正。

自我糾正（Self-correction）是大語(yǔ)言模型 (LLM) 非常重要的能力，但人們發(fā)現(xiàn)這種能力在現(xiàn)代 LLM 中基本上很少存在。現(xiàn)有的訓(xùn)練自我糾正的方法要么需要多個(gè)模型，要么依賴(lài)于更強(qiáng)大的模型或其他形式的監(jiān)督。

我們?nèi)绾尾拍茏?LLM 具備自我糾正能力？之前的研究要么依賴(lài)于提示工程，要么依賴(lài)于專(zhuān)門(mén)用于自我糾正的微調(diào)模型。但前者通常無(wú)法有效地進(jìn)行有意義的內(nèi)在自我糾正，而后者基于微調(diào)的方法需要在推理時(shí)運(yùn)行多個(gè)模型，例如需要 oracle「教師」來(lái)監(jiān)督指導(dǎo)自我糾正過(guò)程。

在最近提交的一篇論文中，來(lái)自 Google DeepMind 的研究者開(kāi)發(fā)了一種無(wú)需上述任何要求即可有效進(jìn)行自我糾正的方法，即通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行自我糾正（SCoRe，Self-Correction via Reinforcement Learning)，只需訓(xùn)練一個(gè)模型，該模型既可以對(duì)推理問(wèn)題做出響應(yīng)，也可以糾正錯(cuò)誤，盡管沒(méi)有收到任何 oracle 反饋。更重要的是，SCoRe 完全通過(guò)在自生成數(shù)據(jù)上進(jìn)行訓(xùn)練來(lái)教模型具備這種能力，而無(wú)需任何 oracle。

論文標(biāo)題：Training Language Models to Self-Correct via Reinforcement Learning
論文地址：https://arxiv.org/pdf/2409.12917

本文主要貢獻(xiàn)在于提出了一種多輪強(qiáng)化學(xué)習(xí)方法 ——SCoRe，用于教 LLM 如何糾正自己的錯(cuò)誤。相對(duì)于基礎(chǔ) Gemini 模型，SCoRe 在 MATH 推理問(wèn)題的自我糾正方面獲得了 15.6% 的增益，在 HumanEval 編碼問(wèn)題上獲得了 9.1% 的增益。

SCoRe 原理介紹

為了教 LLM 進(jìn)行自我糾正，SCoRe 將標(biāo)準(zhǔn)單輪強(qiáng)化學(xué)習(xí)（公式 2）擴(kuò)展到 Zhou 等人提出的分層框架下的多輪設(shè)置。

不過(guò)這樣做面臨諸多挑戰(zhàn)。首先，優(yōu)化公式 1 解決了分布偏移問(wèn)題，但尚不清楚它是否也能滿(mǎn)足要求 [D2]。

這里的 [D2] 如下圖所示，圖中展示了 SFT 方法失敗的兩個(gè)原因。而有效的解決方案必須滿(mǎn)足兩個(gè)要求：[D1] 模型應(yīng)該直接在自生成軌跡上進(jìn)行訓(xùn)練，以緩解 SFT 的分布不匹配（圖 4），[D2] 所采用的自生成軌跡應(yīng)防止在學(xué)習(xí)過(guò)程中因進(jìn)行微小編輯而崩潰。

作者開(kāi)發(fā)了一種在線(xiàn) RL 方法，通過(guò)仔細(xì)的初始化和獎(jiǎng)勵(lì)塑造來(lái)解決這些挑戰(zhàn)。

其次用于微調(diào)的基礎(chǔ)模型初始化在編輯距離上呈現(xiàn)出高度傾斜的分布（圖 3a），這使得它們?nèi)菀资艿侥Ｊ奖罎⒌挠绊懀@是深度強(qiáng)化學(xué)習(xí)中一個(gè)常見(jiàn)的問(wèn)題。即使基礎(chǔ)模型可以在自我校正過(guò)程中產(chǎn)生編輯距離比傾斜度較小的分布，但仍然需要強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一種可以推廣到測(cè)試提示的自我校正策略。

SCoRe 旨在解決上述關(guān)鍵挑戰(zhàn)，其分為兩個(gè)階段，這兩個(gè)階段都是通過(guò)適當(dāng)初始化模型和控制后續(xù) RL 使模型偏向?qū)W習(xí)自我糾正。

具體而言，這兩個(gè)階段包括：

階段 I：訓(xùn)練模型初始化以防止崩潰

SCoRe 第一階段的目標(biāo)是通過(guò)提高基礎(chǔ)模型對(duì)第二次嘗試響應(yīng)的覆蓋率來(lái)獲得良好的模型初始化，以便后續(xù)自我糾正訓(xùn)練不會(huì)出現(xiàn) STaR/SFT 中觀(guān)察到的崩潰現(xiàn)象。

為了達(dá)到此目的，該研究不采用 SFT 來(lái)初始化 RL 訓(xùn)練，而是開(kāi)發(fā)了第一階段來(lái)產(chǎn)生不易崩潰的單獨(dú)初始化。

作者微調(diào)基礎(chǔ)模型，以便在第二次嘗試時(shí)產(chǎn)生高獎(jiǎng)勵(lì)修正，同時(shí)通過(guò)使用 KL 散度將第一次嘗試的響應(yīng)分布限制為盡可能接近基礎(chǔ)模型的響應(yīng)分布，從而強(qiáng)制模型不改變其第一次嘗試的響應(yīng)。雖然這看起來(lái)不是最優(yōu)的 —— 但第一次嘗試的響應(yīng)錯(cuò)誤較少，可以糾正為更好的第二次嘗試響應(yīng)。優(yōu)化的目標(biāo)可以表示為：

其中 ??_2 是一個(gè)超參數(shù)，旨在僅在第一次嘗試時(shí)強(qiáng)制執(zhí)行嚴(yán)格的 KL 懲罰，以避免第一輪響應(yīng)發(fā)生偏移（用藍(lán)色項(xiàng)表示）。請(qǐng)注意，作者仍然使用公式 2 中的默認(rèn) KL 散度懲罰，但該懲罰的權(quán)重要小得多，并且為了簡(jiǎn)潔起見(jiàn)，公式 3 中省略了它。事實(shí)上，與簡(jiǎn)單的多輪 RL 不同，階段 I 在分離兩個(gè)響應(yīng)方面更有效（圖 5b）。

階段 II：帶有獎(jiǎng)勵(lì)的多輪強(qiáng)化學(xué)習(xí)

借助第一階段的模型初始化，該模型在耦合兩個(gè)響應(yīng)時(shí)表現(xiàn)出更小的偏差，SCoRe 的第二階段現(xiàn)在可以訓(xùn)練兩次嘗試的響應(yīng)，并根據(jù)公式 1 優(yōu)化獎(jiǎng)勵(lì)。當(dāng)然，作者還希望確保在此過(guò)程中不會(huì)降低第一次嘗試的響應(yīng)。因此，對(duì)于兩輪自我糾正問(wèn)題，作者針對(duì)以下目標(biāo)訓(xùn)練策略 ??_??(?∣?)：