“ 大模型犯錯(cuò)是常態(tài)，而在大模型應(yīng)用中，我們需要做的是處理好這些錯(cuò)誤，把模型的錯(cuò)誤影響降到最低。”

做了一段時(shí)間的大模型應(yīng)用之后發(fā)現(xiàn)一個(gè)非常有趣的問(wèn)題，那就是為什么會(huì)有那么多大模型應(yīng)用的范式，包括思維鏈(CoT)，思考-行動(dòng)(ReAct)，反思(Reflection)等。

其實(shí)最本質(zhì)的原因就是大模型經(jīng)常犯錯(cuò)，特別是在復(fù)雜場(chǎng)景下的復(fù)雜問(wèn)題；就類似于我們?nèi)祟愄幚韽?fù)雜問(wèn)題一樣，很少有人能夠在不犯錯(cuò)的前提下，一次性解決一個(gè)復(fù)雜問(wèn)題，特別是在個(gè)人能力參差不齊的情況下。

經(jīng)常犯錯(cuò)的大模型

我們知道大模型是一個(gè)基于概率進(jìn)行預(yù)測(cè)結(jié)果的系統(tǒng)，因此它有一個(gè)非常致命的問(wèn)題，那就是幻覺問(wèn)題；但其在某些情況下，能夠很好的取代人類，提升效率。

因此，作為一個(gè)讓人又愛又恨的技術(shù)和工具，在利用好大模型優(yōu)勢(shì)的前提下，又能把風(fēng)險(xiǎn)降到最低，這是作為使用者的我們需要解決的問(wèn)題。

從使用者的角度來(lái)說(shuō)，提示詞(prompt)是使用大模型的唯一工具，我們可以通過(guò)提示詞來(lái)約束或引導(dǎo)大模型的輸出，而這可以讓大模型幫我們解決問(wèn)題。但是因?yàn)榛糜X等原因的存在，就導(dǎo)致大模型并不能完全穩(wěn)定地輸出正確的答案。

所以，我們就需要一種方式來(lái)規(guī)避或者來(lái)降低這種風(fēng)險(xiǎn)；而這就是大模型應(yīng)用中不同范式存在的意義。

在解決復(fù)雜問(wèn)題的過(guò)程中，我們?nèi)祟惓Ｓ玫姆绞骄褪侨シ治鰡?wèn)題，然后對(duì)問(wèn)題進(jìn)行拆解規(guī)劃；對(duì)大模型來(lái)說(shuō)同樣如此，我們需要一種方法讓大模型能夠獨(dú)立完成任務(wù)的拆解和行動(dòng)，由此形成的方法論就是我們現(xiàn)在常說(shuō)的ReAct，reflection等。

但是呢，這些方式雖然能夠提升大模型的準(zhǔn)確率，以及對(duì)復(fù)雜問(wèn)題的解決能力，但并不能完全杜絕大模型犯錯(cuò)；因此，我們就需要在大模型犯錯(cuò)時(shí)進(jìn)行處理，比如說(shuō)ReAct的觀察者模式observation，就是讓大模型先對(duì)自己的處理結(jié)果進(jìn)行分析；然后還有就是重試機(jī)制，讓大模型在犯錯(cuò)的情況下，能夠根據(jù)當(dāng)前的問(wèn)題進(jìn)行優(yōu)化，并再次嘗試。

像強(qiáng)化學(xué)習(xí)，反饋學(xué)習(xí)等都是基于這個(gè)理念。

因此，我們?cè)谧龃竽Ｐ蛻?yīng)用開發(fā)時(shí)，我們首先要明白一個(gè)理念——大模型犯錯(cuò)是必然的，而不是偶然的結(jié)果。

這也是為什么很多時(shí)候我們做應(yīng)用時(shí)，明明剛開始是好好的，怎么突然之間系統(tǒng)就不能用了，然后過(guò)一會(huì)可能又好了，就這么時(shí)靈時(shí)不靈；原因就在于此，由于我們對(duì)大模型的錯(cuò)誤結(jié)果沒有處理好；就間接導(dǎo)致大模型出現(xiàn)錯(cuò)誤而不自知，最后導(dǎo)致系統(tǒng)崩潰。

本文轉(zhuǎn)載自??AI探索時(shí)代?? 作者：DFires