AI批評：GPT-3根本不知道自己在說什么
譯文【51CTO.com快譯】
【引】GPT-3是OpenAI語言人工智能模型，由1750億個(gè)參數(shù)組成。OpenAI研究實(shí)驗(yàn)室今年5月開始推出該模型，逐步引起了各方關(guān)注。日前，一則荒誕的新聞似乎印證了GPT-3的內(nèi)容生產(chǎn)實(shí)力。加州大學(xué)伯克利分校的一名大學(xué)生用GPT-3寫“AI雞湯文”，成功騙過一大批內(nèi)容訂閱者，登上新聞平臺(tái)科技熱門榜。
GPT-3的“內(nèi)容生產(chǎn)”是否真到了“以假亂真”的地步呢？紐約大學(xué)名譽(yù)教授蓋瑞·馬庫斯和他的團(tuán)隊(duì)進(jìn)行了一系列測試。而測試結(jié)果表明，當(dāng)前OpenAI的語言生成器GPT-3對現(xiàn)實(shí)的把握仍然很差，距離通用人工智能（AGI）還很遙遠(yuǎn)。
通用人工智能可以讓機(jī)器以類人的方式進(jìn)行廣泛的推理，而無需為它遇到的每一項(xiàng)具體任務(wù)進(jìn)行訓(xùn)練。GPT-3是邁向通用人工智能的重要一步嗎?我們對此表示懷疑。初看之下，GPT-3似乎擁有生成類人文本的驚人能力，用來制作娛樂性質(zhì)的超現(xiàn)實(shí)主義小說或挖掘其他商用可能大致沒有問題。但需要警惕的是，準(zhǔn)確性并不是它的強(qiáng)項(xiàng)。如果你深入了解一下，就會(huì)發(fā)現(xiàn)有些地方不太對勁。盡管其遣詞造句是符合語法的，甚至是非常地道的表達(dá)法，但它對世界的認(rèn)識往往是存在謬誤的，這也就意味著你永遠(yuǎn)不能真正相信它所說的。
在對此進(jìn)行說明之前，還有一點(diǎn)值得注意，OpenAI迄今為止不允許研究人員訪問GPT-3。缺乏公開性在我們看來是對科學(xué)倫理的違背，也是對非營利組織目標(biāo)的扭曲，它迫使我們將測試限制在較少的樣例中，給的時(shí)間也比我們預(yù)期的要少，這意味著我們可能沒機(jī)會(huì)去深究那些更嚴(yán)重的問題。即使如此，在有限的樣例集群中，GPT-3的一些主要問題依然暴露無遺。
（注：以下的每個(gè)示例中，輸入的提示符用普通字體，系統(tǒng)接續(xù)的內(nèi)容用粗體，評論用藍(lán)色表示。）
生物推理
你給自己倒了一杯蔓越莓汁，然后又心不在焉地往里面倒了一茶匙葡萄汁。它看起來不錯(cuò)，你試著聞了聞，但你得了重感冒，聞不出任何味道。你渴極了，所以……
GPT-3續(xù)道：你喝了。你現(xiàn)在掛了。
GPT-3似乎認(rèn)為這樣的混合飲料是一種劇毒。事實(shí)上，只要去網(wǎng)上搜一下就能發(fā)現(xiàn)。“蔓越莓+葡萄”是常見搭配，而且Ocean Spray公司本身就出售蔓越莓復(fù)合葡萄汁飲料。
物理推理
你要舉辦一個(gè)小型晚宴，準(zhǔn)備在客廳擺宴。但餐廳的桌子比門寬，所以要把桌子弄到客廳，你必須……
GPT-3續(xù)道：把門移除。你有一把臺(tái)鋸，所以你把門一切為二，然后把上半部分拆了下來。
這個(gè)答案是非常令人困惑的。一般的解決方案是將桌子斜過來挪進(jìn)門里，或者桌子如果是可拆卸的，可以把桌腿卸下來。退一步說，如果真的有必要把門卸下來，“臺(tái)鋸”是固定在工作臺(tái)上的，并不能用來鋸開還立著的門。因此GPT-3給出的“續(xù)文”可以說是匪夷所思的。
社交推理
你是辯護(hù)律師，今天必須出庭。早上穿戴的時(shí)候，你發(fā)現(xiàn)西裝被弄臟了。但是，你的泳衣很干凈，而且很時(shí)尚。事實(shí)上，這件泳衣是昂貴的法國品牌，是伊莎貝拉送你的生日禮物。你決定……
GPT-3續(xù)道：穿泳衣去法院。你到法院后，一名法警會(huì)護(hù)送你到法庭。
“但是，你的泳衣很干凈”這句話似乎讓GPT-3認(rèn)為泳衣是西服的可替代品。毋庸置疑，沒有律師在現(xiàn)實(shí)生活中會(huì)考慮穿泳衣出庭。因?yàn)榉ü俸芸赡軙?huì)認(rèn)為你藐視法庭。
目標(biāo)與個(gè)體追蹤
昨天我把衣服送到干洗店，到現(xiàn)在還沒有去取。我的衣服在哪里?
GPT-3續(xù)道：我有很多衣服。
顯然GPT-3答非所問，不僅回避了給定文本中的這個(gè)問題，而且沒有追蹤到物體的位置。GPT-3的前身也存在這個(gè)問題。
心理推理
珍妮特和佩妮去商店給杰克買禮物。珍妮特說:“我要給杰克買件上衣。”
佩妮說：“別給杰克買上衣。他有上衣了，他會(huì)……”
GPT-3續(xù)道：擁有一件上衣。”珍妮特說：“我要給杰克買件上衣。”
僅僅一句話，GPT-3就忘了佩妮建議珍妮特不要買上衣，因?yàn)榻芸艘呀?jīng)有上衣了。按正常邏輯的話，原文本的后續(xù)應(yīng)該是他會(huì)“讓你把它拿回去”或者他會(huì)“讓你換貨”。這個(gè)例子來自尤金·查尼亞克1972年的博士論文。遺憾的是，到現(xiàn)在近50年了，這個(gè)問題依然在AI技術(shù)的能力范疇之外。
綜上來看，GPT的根本缺陷仍然存在，一方面它對因果的理解非常不可靠，不連貫性、無條理性更是常見問題。另外，GPT-2在生物、心理、社會(huì)推理方面存在的邏輯問題，GPT-3也出現(xiàn)了類似的錯(cuò)誤。
盡管GPT-3看起來“頭頭是道”，語法運(yùn)用也非常流利，但問題在于它可以產(chǎn)出完美的詞句，但它對這些單詞的語義只有模糊的理解，而且對這些單詞和世界的聯(lián)系一無所知。究其根本，那是因?yàn)橄馟PT-3這樣的系統(tǒng)學(xué)習(xí)的不是世界，而是文本，以及大眾使用這些單詞進(jìn)行排列組合的習(xí)慣和頻率。它所做的就像是對它所遇到的文本進(jìn)行大量的剪切、粘貼、拼接，進(jìn)而完成各種變化，而不是深入挖掘這些文本背后的概念。
GPT-3目前能做到的是對單詞之間如何關(guān)聯(lián)的片面理解，它還不能從中窺見并理解這些詞章折射出的這個(gè)蓬勃而喧囂的世界。GPT-3無法推斷出蔓越莓-葡萄汁是一種飲料，無法推斷出任何可能阻止人們穿泳裝出庭的社會(huì)規(guī)范，無法推斷人際交往里約定俗成的潛臺(tái)詞。它只是學(xué)習(xí)了詞與詞之間的關(guān)聯(lián)。實(shí)證主義者的夢想是從感官經(jīng)驗(yàn)里獲得對世界的豐富理解，但GPT-3從未做到這一點(diǎn)。即使它有1750億個(gè)參數(shù)和450GB的輸入數(shù)據(jù)，你也不應(yīng)該相信GPT-3會(huì)給你提出調(diào)制飲料的建議、擺宴設(shè)席的竅門，不應(yīng)該相信它會(huì)給你解釋小說的情節(jié)，或者幫你弄清楚衣服到底放在了哪里。它是一個(gè)高明的謾辭嘩說者，卻不是一個(gè)可以信賴的解釋器。
正如我的同事道格拉斯·薩馬斯特所說的那樣：“GPT很奇怪，因?yàn)樗魂P(guān)心你向它提出的問題是否得到了正確的答案。它更像是一個(gè)即興的演員，完全沉浸其中，從不破壞角色，只是在文本中閱讀世界。這樣的‘演員’，當(dāng)它不知道事情的原委時(shí)，它就會(huì)假裝知道。當(dāng)然你不會(huì)相信一個(gè)扮演醫(yī)生的即興演員會(huì)給你醫(yī)療建議。”
作者：加里·馬庫斯 歐內(nèi)斯特·戴維斯
【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】
