譯者 | 陳峻

審校 | 重樓

最近，麻省理工學(xué)院、哈佛大學(xué)、斯坦福大學(xué)以及 DeepMind 的研究人員聯(lián)合提出了一種新技術(shù)，它使用多個(gè)代理（Multiple Agents）來(lái)解決大語(yǔ)言模型 （LLM） 最緊迫的問(wèn)題之一：缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù)。畢竟頂尖模型已經(jīng)消耗了互聯(lián)網(wǎng)上的大部分可用的內(nèi)容，并讓AI 實(shí)驗(yàn)室已經(jīng)用完了適合訓(xùn)練 LLM 的數(shù)據(jù)。

解決這一瓶頸問(wèn)題的一種方案是通過(guò)創(chuàng)建合成數(shù)據(jù)（Synthetic Data）來(lái)自我提升，讓LLM 生成高質(zhì)量的范例來(lái)訓(xùn)練自己。例如，系統(tǒng)會(huì)提示 LLM 解決數(shù)學(xué)、推理或編碼問(wèn)題。該模型生成推理鏈和響應(yīng)、評(píng)估結(jié)果，并將有效的示例添加到訓(xùn)練數(shù)據(jù)集中，用于在下一個(gè)訓(xùn)練周期中微調(diào)模型。

不同的研究表明，這是一種有效但也有限的方法。該方法在幾次訓(xùn)練迭代之后會(huì)趨于穩(wěn)定，進(jìn)而限制了其自我提升方法的適用性。

多代理辯論和微調(diào)

為了提高性能，新技術(shù)使用了多代理辯論（Multiagent Debate）的概念，即：由多個(gè) LLM 代理一起起草和完善響應(yīng)。該框架并非微調(diào)單個(gè)模型，而是使用相同的辯論和改進(jìn)框架，來(lái)生成不同的數(shù)據(jù)集，并微調(diào)多個(gè)模型。這些模型往往派生自相同的基本模型，并且每個(gè)模型都會(huì)得到訓(xùn)練，以被專(zhuān)門(mén)用于目標(biāo)任務(wù)的某些部分。

通常，該框架由生成代理和批評(píng)代理所組成。其中：

對(duì)于每個(gè)問(wèn)題，第一組 LLM（生成代理）會(huì)創(chuàng)建初始響應(yīng)。而生成模型的作用就是準(zhǔn)確地回答輸入的問(wèn)題。每個(gè)模型都以不同的方式，被提示創(chuàng)建一組不同的推理鏈與響應(yīng)。

接著，批評(píng)代理會(huì)評(píng)估所有生成代理的輸出，并選擇最有效的響應(yīng)、或生成反饋，以進(jìn)行改進(jìn)。在此，批評(píng)代理的作用是對(duì) LLM 生成的回答提供準(zhǔn)確的批評(píng)，并使用這些回答來(lái)提供更新的答案。而且，代理可以參與多輪辯論和反饋，以進(jìn)一步完善答案。

然后，更新的響應(yīng)和批評(píng)被用來(lái)創(chuàng)建數(shù)據(jù)集，以微調(diào)生成和批評(píng)代理。一旦兩組代理都開(kāi)啟了訓(xùn)練，它們就會(huì)重復(fù)這個(gè)循環(huán)，以創(chuàng)建更好的響應(yīng)。為了確保多樣性，每個(gè)生成代理和批評(píng)代理都會(huì)根據(jù)其交互生成的一組不同的示例進(jìn)行微調(diào)。當(dāng)這個(gè)循環(huán)被重復(fù)時(shí)，它們就會(huì)創(chuàng)建出越來(lái)越好的數(shù)據(jù)集，并且每個(gè)代理在任務(wù)的特定部分都會(huì)變得更好。

多代理微調(diào)如何克服 LLM 的數(shù)據(jù)瓶頸-AI.x社區(qū)

多代理微調(diào)（來(lái)源：arXiv）

與經(jīng)典的自我提升框架不同，基于訓(xùn)練數(shù)據(jù)所創(chuàng)造的行為多樣性，會(huì)讓訓(xùn)練數(shù)據(jù)的質(zhì)量在多輪迭代中不斷提升。

研究人員曾寫(xiě)道：“我們發(fā)現(xiàn)，多代理微調(diào)的迭代應(yīng)用會(huì)促進(jìn)持續(xù)學(xué)習(xí)和適應(yīng)，并隨著時(shí)間的推移，產(chǎn)生逐漸細(xì)化且更為準(zhǔn)確的響應(yīng)。同時(shí)，研究人員進(jìn)一步指出，“通過(guò)在不同的數(shù)據(jù)集和角色上訓(xùn)練每個(gè)模型，我們的方法促進(jìn)了模型之間的專(zhuān)業(yè)化，并增加了模型社會(huì)的多樣化。因此，與單一代理的自我提升方法相比，我們的系統(tǒng)可以通過(guò)多輪微調(diào)實(shí)現(xiàn)自主改進(jìn)。”

多代理微調(diào)如何克服 LLM 的數(shù)據(jù)瓶頸-AI.x社區(qū)

多代理微調(diào)在多次迭代中繼續(xù)提高 MATH 基準(zhǔn)測(cè)試的性能，而單一代理微調(diào)則會(huì)快速達(dá)到平臺(tái)期（來(lái)源： arXiv）

在推理過(guò)程中，該框架可以使用生成代理和批評(píng)代理的生態(tài)系統(tǒng)，來(lái)起草多個(gè)響應(yīng)，并通過(guò)多代理辯論對(duì)其進(jìn)行提煉。每個(gè)代理都能夠從所有其他代理那里獲取響應(yīng)，并在每一輪的辯論中生成新的響應(yīng)。

研究人員還寫(xiě)道：“我們發(fā)現(xiàn)，總結(jié)其他代理的回答不但有助于消除冗余的信息，而且可以保留最重要的細(xì)節(jié)，從而進(jìn)一步提高性能。

多代理微調(diào)的實(shí)際應(yīng)用

如下所示，研究人員在算術(shù)、小學(xué)數(shù)學(xué)和競(jìng)賽級(jí)別的數(shù)學(xué)問(wèn)題的數(shù)個(gè)推理基準(zhǔn)上，測(cè)試了該方法。他們將其與Mistral 7B、Llama 3-8B 和 Phi 3-4B等開(kāi)源模型，以及 GPT-3.5 一起使用。由于多代理辯論和微調(diào)不需要訪問(wèn)模型的內(nèi)部權(quán)重，因此它同時(shí)適用于開(kāi)放和封閉的模型。

多代理微調(diào)如何克服 LLM 的數(shù)據(jù)瓶頸-AI.x社區(qū)

結(jié)果表明，多代理方法優(yōu)于包括多數(shù)投票（即：模型產(chǎn)生幾個(gè)獨(dú)立的答案，并從中選擇最佳答案）在內(nèi)的其他技術(shù)，以及那些優(yōu)化各個(gè)代理的答案，而無(wú)法經(jīng)由微調(diào)過(guò)程的方法。此外，微調(diào)后的模型也可以被推廣到看不見(jiàn)的任務(wù)上，且勝過(guò)直接在目標(biāo)任務(wù)上訓(xùn)練模型的基線方法。例如，在 MATH 數(shù)據(jù)集上微調(diào)的代理生態(tài)系統(tǒng)，就會(huì)在 GSM 基準(zhǔn)測(cè)試中得到非常出色的表現(xiàn)。

更重要的是，多代理在多次迭代中會(huì)持續(xù)表現(xiàn)出改進(jìn)的性能，而其他自我提升的方法則會(huì)在幾個(gè)周期后開(kāi)始出現(xiàn)退化。

總而言之，由于多代理方法需要多個(gè)模型的副本來(lái)同時(shí)訓(xùn)練和運(yùn)行，因此它實(shí)際上是一種從成本角度給出的權(quán)衡方法。雖然 LoRA 和量化等優(yōu)化技術(shù)也可能實(shí)現(xiàn)相似的效果，但是就目前而言，多代理微調(diào)似乎能夠更好地解決 AI 社區(qū)所面臨的首要問(wèn)題。

原文標(biāo)題：How multiagent fine-tuning overcomes the data bottleneck of LLMs，作者：Ben Dickson