將大型語言模型（LLMs）應用于實際應用的主要障礙之一是它們的不可預測性、缺乏推理能力和難以解釋性。如果無法解決這些挑戰，LLMs將無法成為在關鍵環境中可信賴的工具。在最近的一篇論文中，認知科學家GaryMarcus和人工智能先驅Douglas Lenat深入探討了這些挑戰，他們將這些挑戰歸納為了確保通用人工智能的16個愿望清單。Tech Talks 的創始人 Ben Dickson 將其整理發表了一篇名為" How LLMs could benefit from a decades’ long symbolic AI project"《大型語言模型（LLMs）如何能夠從長達數十年的符號 AI 項目中受益》的文章，我們特將該內容編譯出來和各位客戶、合作伙伴朋友分享。

在最近的一篇論文中，認知科學家Gary Marcus和人工智能先驅Douglas Lenat深入探討了大型語言模型（LLMs）無法成為在關鍵環境中可信賴的工具的挑戰，他們將這些挑戰歸納為了確保通用人工智能的16個愿望清單。他們認為，所需的能力主要歸結為“知識、推理和世界模型”，而這些方面都不是大型語言模型所擅長的。他們指出，LLMs缺乏人類擁有的緩慢、深思熟慮的推理能力。相反，它們更類似于我們快速而無意識的思考方式，這可能導致不可預測的結果。

Marcus和Lenat提出了一種可能“理論上能夠解決”這些限制的替代人工智能方法：“教育以明確知識片段和經驗法則為基礎的人工智能，使推理引擎能夠自動推導出所有這些知識的邏輯蘊涵關系。”他們認為，LLM研究可以從 Cyc 獲得啟發并受益，Cyc是Lenat四十多年前首創的一種符號 AI 系統，并建議“任何可信賴的通用人工智能都需要將這兩種方法，即LLM方法和更形式化的方法，進行混合。”

注：LLMs擅長自然語言處理，但在推理和常識方面存在一定的挑戰。相反，Cyc以其深厚的知識庫和推理能力聞名，可用于生成大量基于事實的陳述，有助于訓練LLMs更注重常識和正確性。通過將LLMs訓練成能夠理解CycL語言，可以加強兩個系統之間的交流，有助于提供新知識，并降低維護Cyc的成本。

LLs缺少什么

在他們的論文中，Lenat和Marcus表示，盡管人工智能不需要以與人類完全相同的方式思考，但它必須具備16種能力，以便在“錯誤成本高昂的情況下”受到信任。LLMs在大多數這些領域都存在困難。例如，人工智能應該能夠“回顧其提供的任何答案背后的推理過程”，并追蹤其推理鏈中每一條知識和證據的來源。雖然一些提示技術可以從LLMs中引出推理的外觀，但這些能力充其量也是搖擺不定的，經過一些探討后可能會變得矛盾不一致。

Lenat和Marcus還討論了演繹、歸納和擬因推理作為能夠使LLMs調查其自身決策、發現陳述中的矛盾以及在邏輯上無法得出結論時做出最佳決策的能力的重要性。作者還指出，類比是當前LLMs中重要缺失的一部分，人類在對話中經常使用類比來傳達信息或使復雜主題容易理解。

心智理論

另一個重要的能力是“心智理論”，這意味著人工智能應該具備對其對話對象的知識和意圖的模型，以引導其互動，并能夠在繼續學習用戶的同時更新其行為。

Marcus和Lenat還強調了人工智能需要具備自身模型的必要性。它必須理解“它自己，即AI是什么，當前正在做什么以及為什么”，而且還必須具備“對自己知道什么、不知道什么以及自己能力的良好模型，以及當前與用戶的‘契約’是什么”。

可信賴的人工智能系統必須能夠在決策中包含上下文，并能夠區分在當前情境中哪種行為或響應是可接受的，哪種是不可接受的。上下文可以包括環境、任務和文化等因素。

Cyc的創作者學到了什么

Lenat于1984年創建了Cyc，它是一種基于知識的系統，提供了一個全面的本體論和知識庫，人工智能可以用來推理。與當前的人工智能模型不同，Cyc建立在對現實世界知識的明確表示基礎上，包括常識、事實和經驗法則。它包含了數千萬條由人類輸入的信息，這些信息可以被軟件用于快速推理。

一些科學家將Cyc描述為失敗和死胡同，也許它最重要的局限性之一是依賴手工勞動來擴展其知識庫。相比之下，LLMs已經能夠隨著數據和計算資源的可用性而擴展。但迄今為止，Cyc已經實現了幾個成功的應用，并為人工智能社區帶來了重要的教訓。

在最初的幾年里，Cyc的創作者意識到擁有一種富有表現力的表示語言是不可或缺的。“也就是說，可信賴的通用人工智能需要能夠表示人們彼此之間說和寫的幾乎任何內容，”Lenat和Marcus寫道。

表達主張和規則

到了20世紀80年代晚期，Cyc的創作者開發了CycL，這是一種用來表達人工智能系統主張和規則的語言。CycL已經被構建為輸入推理系統的一部分。盡管Cyc擁有數千萬條手工編寫的規則，但它可以在僅進行一次推理步驟的情況下“生成數百億個新的結論，這些結論都是基于它已經知道的內容而得出的，”作者寫道。“僅僅再經過幾個推理步驟，Cyc就可以得出數以萬億計的新默認真實陳述。”

作者認為，創建一種用于知識表示的富有表現力的語言，使之能夠對事實進行推理，不是可以通過蠻力捷徑省略的事情。他們批評了目前訓練LLMs使用大量原始文本數據的方法，希望它們會逐漸發展自己的推理能力。在日常交流中，人們忽略的大部分隱含信息在這樣的文本語料庫中是缺失的。因此，LLMs將會學會模仿人類語言，而無法對自己所說的內容進行健壯的常識推理。

將Cyc和LLMs融合在一起

Lenat和Marcus承認Cyc和LLMs都各自存在局限性，一方面，Cyc的知識庫不夠深入和廣泛，它的自然語言理解和生成能力不如Bard和ChatGPT出色，而且它無法像最先進的LLMs一樣快速推理。另一方面，“目前基于LLM的聊天機器人更多地是在記憶和宣揚而不是理解和推斷，”科學家們寫道。“在論文中列出的16種能力中，它們在某些方面表現出色，但在大多數方面還有改進的空間。”

作者提出了一種知識豐富、推理豐富的象征性系統（例如Cyc）與LLMs之間的協同作用。他們建議這兩種系統可以共同解決“幻覺”問題，即LLMs發表的陳述雖然似乎合理但事實上是錯誤的。例如，Cyc和LLMs可以相互交叉審查和質疑對方的輸出，從而降低幻覺的可能性。這尤其重要，因為大部分常識知識沒有明確寫在文本中，因為它是普遍理解的。Cyc可以利用其知識庫作為生成這種隱含知識的來源，而這種知識在LLMs的訓練數據中沒有記錄。

解釋輸出的知識和推理

作者建議利用Cyc的推理能力，基于其知識庫中的明確信息生成數十億個“默認真實陳述”，這些陳述可以作為訓練未來LLMs更偏向常識和正確性的基礎。此外，Cyc可以用于事實核查輸入到LLM進行訓練的數據，并過濾掉任何虛假信息。作者還建議“Cyc可以利用其對輸入文本的理解添加一個語義前饋層，從而擴展LLM的訓練內容，并進一步使LLM更加偏向真實和邏輯蘊涵。”

通過這種方式，Cyc可以為LLMs提供知識和推理工具，逐步解釋它們的輸出，增強透明度和可靠性。另一方面，LLMs可以被訓練來將自然語言句子翻譯成CycL，這是Cyc理解的語言。這可以使這兩個系統進行通信，并有助于以較低的成本生成新的知識。

混合AI

Marcus表示，他支持將神經網絡和符號系統結合在一起的混合人工智能系統。將Cyc和LLMs結合起來可以是實現混合人工智能系統愿景的方式之一。

作者總結道：“多個世代以來，已經開發出了兩種非常不同類型的人工智能，每一種都已經足夠先進，可以獨立應用，而且確實正在獨立應用；但這兩種類型有機會一起工作，也許還可以與概率推理和處理不完整知識的其他進展結合使用，使我們更進一步朝著值得我們信任的通用人工智能邁進一步。”

論文地址：https://arxiv.org/abs/2308.04445

本文轉載自??MoPaaS魔泊云??，作者： Ben Dickson