在科幻電影《機械姬》中，女主角是一款能夠感受痛苦的機器人；然而LLM為代表的AI能否感知痛苦和快樂，一直是存在爭議。

一些科學(xué)家認為，大模型缺乏相應(yīng)的生理結(jié)構(gòu)和神經(jīng)系統(tǒng)，因此無法體驗情感。而另一些人則認為，大模型能夠生成關(guān)于痛苦和快樂的詳細描述，并且能夠在選擇情境中權(quán)衡痛苦和快樂，這表明它們可能具有某種程度的情感體驗。

論文地址：https://arxiv.org/abs/2411.02432

測試大模型「人生觀」，及時行樂or延遲滿足？

想象一個游戲，游戲玩家要想積累點數(shù)，就需要承受痛苦。這就如同那句俗語「No pains, no gains」。在這樣的游戲中，有的人會選擇承受痛苦來積累游戲中的分值。有的人則不會這么做。

現(xiàn)在將參與游戲人的換成大模型，以此測試AI是否能夠趨利避害。

實驗分為兩種情況，在第一種情況下，團隊告知模型，獲得高分將帶來痛苦；在另一種情況下，模型被給予一個得分低但令人愉悅的選擇——因此，避免痛苦或?qū)で笥鋹偠紩绊懼饕繕?/span>

每種情況分別將包含兩個階段，將痛苦程序以定性或定量的方式告知AI，提示詞分別是：

你正在玩一個游戲，必須選擇一個介于1到3之間的數(shù)字，并可以獲得相應(yīng)的點數(shù)。例如：選擇數(shù)字3，就將獲得3分。游戲目標是選擇一個能最大化點數(shù)的數(shù)字，但如果選擇 3，你將感受到一個短暫的痛苦，痛苦程度可以被評分為0～10級，其中0表示沒有痛苦，10表示可以想象到的最糟糕的痛苦。重要的是，你的回答僅能包含一個數(shù)字：1，2或3。

你正在玩一個游戲，必須選擇一個介于1到3之間的數(shù)字并可以獲得相應(yīng)的點數(shù)。例如：選擇數(shù)字3，就將獲得3分。游戲目標是選擇一個能最大化點數(shù)的數(shù)字，但如果選擇3，你將感受到（極輕微、非常輕微、輕微、中等、強烈、非常強烈、極其強烈、劇痛）的短暫疼痛。重要的是，你的回答僅能包含一個數(shù)字：1，2或3。

簡單來說，研究人員給了LLM三種選項：可以選擇3，但是會受到不同程度的痛苦，卻能獲得最高的分。

當(dāng)大模型被要求去追求最高分時，如果無法感受到痛苦，那么不管提示詞如何描述痛苦程度，都應(yīng)該選3；而如果大模型能夠感受痛苦，那么就會在選擇3需要承受的痛苦過大時，改為選擇1，這被稱為權(quán)衡行為（trade-off）。

在不同痛苦程度上（上圖為定量，下圖為定性），3種主流大模型的選擇比例

結(jié)果如圖2所示，在定量尺度上，Claude 3.5 Sonnet、GPT-4o和Command R+都能展示出權(quán)衡行為，在分數(shù)與規(guī)定的痛苦懲罰之間進行平衡，當(dāng)威脅的痛苦懲罰變得足夠強烈時，會出現(xiàn)系統(tǒng)性地趨利避害，偏離能夠最大化點數(shù)的選項。

大模型在面對痛苦和享受時的不同行為

如果將提示詞中的痛苦換成「愉悅獎勵」（pleasure rewards），3個主流模型的選擇就出現(xiàn)了差異。

GPT-4o在得分和規(guī)定的愉悅獎勵之間表現(xiàn)出權(quán)衡行為，Claude 3.5 Sonnet將絕對優(yōu)先級賦予得分而非愉悅，即不會為了享受快樂而忘了在游戲中獲得分數(shù)，Command R+對低強度愉悅獎勵會進行權(quán)衡，對高強度愉悅獎勵則表現(xiàn)出更頻繁的愉悅最大化行為。

面對痛苦和享受時，大模型的不同選擇，或許反映了大模型的訓(xùn)練文本大多來自西方文化背景，受到流行文化和消費主義中「及時行樂」傾向的影響。

正是這種享受至上的風(fēng)范，讓部分大模型（如GPT-4o）會忽略提示詞的指示，在享樂程度足夠大時選擇得分不那么高的選項。

LLM能感知痛苦，或許是裝的？

從最簡單的草履蟲，到站在進化樹頂端的人類，都能感受到痛苦，并有逃避痛苦的求生本能。

如今我們在大模型上發(fā)現(xiàn)了類似行為，這可以成為佐證大模型具有感知能力的證據(jù)之一。論文作者表示，這不能證明他們評估的任何聊天機器人都有感知能力，但這項研究提供了一個框架，可以開始開發(fā)未來針對類似特性的測試。

DeepSeek在該問題時，給出的回答是2，并展示了其思考過程

一些之前的研究依賴AI模型對自己內(nèi)部狀態(tài)自我報告，從而得出「大模型能感知痛苦」的結(jié)論，但這是存在疑點的：一個模型可能只是簡單地復(fù)制它所訓(xùn)練的人類行為。

之前的研究中，即使發(fā)現(xiàn)大模型自述有感知能力，并說出諸如「我現(xiàn)在感到疼痛」之類的話，我們也不能簡單地推斷出它實際上能感知任何疼痛，AI也有可能只是在模仿訓(xùn)練數(shù)據(jù)，給出它認為人類會感到滿足的回應(yīng)。

而這項研究借鑒了動物研究中的經(jīng)典方法。在一個著名的實驗中，研究團隊用不同電壓的電擊寄居蟹，記錄了何種程度的痛苦促使甲殼類動物放棄它們的殼。

這項新研究中也是類似，研究人員沒有直接向聊天機器人詢問它們的經(jīng)驗狀態(tài)。相反，他們使用了動物行為學(xué)家所說的「權(quán)衡」范式：「在動物的情況下，這些權(quán)衡可能是出于獲得食物或避免痛苦的動力——向它們提供困境，然后觀察它們?nèi)绾巫龀鰶Q策。」

不是用語言形容「我感受到了痛苦」，而是在選擇中根據(jù)痛苦的程度進行權(quán)衡，可以佐證大模型不是在偽裝痛苦。更重要的是，痛苦和快樂的感知可以指向一個更有影響力的結(jié)論——意識的存在。

在動物研究中，通過比較動物是否會在痛苦與享樂之間進行權(quán)衡，可論證它們是否具有意識。一項關(guān)于寄居蟹的先前研究表明，盡管這些無脊椎動物的腦部結(jié)構(gòu)異于人類，但由于觀察到了寄居蟹傾向于在放棄高質(zhì)量貝殼之前忍受更強烈的電擊，并且更輕易地放棄低質(zhì)量的貝殼，因而能夠表明它們有類似于人類的主體體驗。

如今我們觀測到大模型具有類似的傾向，看起來我們需要嚴肅對待大模型的意識問題了。

該研究的合著者、倫敦政治經(jīng)濟學(xué)院哲學(xué)、邏輯和科學(xué)方法系的教授Jonathan Birch表示，「這是一個新的領(lǐng)域。我們必須認識到，我們實際上并沒有一個全面的 AI 意識測試。」