作者| Rahul Pradhan
來源| https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html
人工智能有望成為當代最具影響力的技術。最近在transformer技術和生成式人工智能方面取得的進展已經展示了其大規模釋放創新和獨創性的潛力。
然而，生成式人工智能并非沒有挑戰——這些挑戰甚至可能會嚴重阻礙這一變革性技術的應用和價值創造。隨著生成式人工智能模型的復雜性和能力不斷提高，它們也帶來了獨特的挑戰，包括生成不基于輸入數據的輸出。
這些所謂的 "幻覺 "是指模型產生的輸出結果雖然連貫，但可能脫離了事實或輸入背景。本文將簡要介紹生成式人工智能的變革性影響，審視該技術的不足和挑戰，并討論可用于緩解幻覺的技術。
生成式人工智能的變革效應
生成式人工智能模型使用一種被稱為深度學習的復雜計算過程來識別大量數據集中的模式，然后利用這些信息創建新的、令人信服的輸出。這些模型通過結合稱為神經網絡的機器學習技術來實現這一目標，神經網絡的靈感來源于人腦處理和解釋信息的方式，然后隨著時間的推移從中學習。
OpenAI 的 GPT-4 和谷歌的 PaLM 2 等生成式人工智能模型有望加速自動化、數據分析和用戶體驗方面的創新。這些模型可以編寫代碼、總結文章，甚至幫助診斷疾病。然而，這些模型的可行性和最終價值取決于它們的準確性和可靠性。在醫療保健、金融或法律服務等關鍵領域，可靠的準確性至關重要。但對于所有用戶來說，要釋放生成式人工智能的全部潛力，就必須解決這些挑戰。
大型語言模型的缺點
LLM 從根本上說是概率性和非確定性的。它們根據下一個特定詞序出現的可能性生成文本。LLM 沒有知識概念，完全依賴于通過訓練有素的數據語料庫作為推薦引擎進行導航。它們生成的文本一般遵循語法和語義規則，但完全以滿足與提示的統計一致性為基礎。
LLM 的這種概率性質既是優點也是缺點。如果目標是得出正確答案或根據答案做出關鍵決定，那么幻覺就是不好的，甚至會造成損害。然而，如果目標是創造性的努力，那么可以利用 LLM 培養藝術創造力，從而相對較快地創作出藝術作品、故事情節和劇本。
然而，無論目標如何，無法信任 LLM 模型的輸出都會造成嚴重后果。這不僅會削弱人們對這些系統能力的信任，還會大大降低人工智能對加速人類生產力和創新的影響。
最終，人工智能的好壞取決于它所訓練的數據。LLM 的幻覺主要是數據集和訓練的缺陷造成的，包括以下方面：
- 過度擬合： 當模型對訓練數據（包括噪聲和異常值）的學習效果太好時，就會出現過度擬合。模型的復雜性、訓練數據的噪聲或訓練數據的不足都會導致過度擬合。這會導致低質量的模式識別，使模型無法很好地泛化到新數據中，從而導致分類和預測錯誤、與事實不符的輸出、信噪比低的輸出或完全的幻覺。
- 數據質量： 用于訓練的數據的錯誤標記和錯誤分類可能在幻覺中起重要作用。有偏差的數據或缺乏相關數據實際上會導致模型輸出結果看似準確，但可能被證明是有害的，這取決于模型建議的決策范圍。
- 數據稀缺： 數據稀缺或對新鮮或相關數據的需求是導致幻覺并阻礙企業采用生成式人工智能的重要問題之一。使用最新內容和上下文數據刷新數據有助于減少幻覺和偏見。
解決大型語言模型中的幻覺
有幾種方法可以解決 LLM 中的幻覺問題，包括微調、提示工程和檢索增強生成 (RAG) 等技術。
- 微調是指使用特定領域的數據集重新訓練模型，以便更準確地生成與該領域相關的內容。然而，重新訓練或微調模型需要較長的時間，此外，如果不持續訓練，數據很快就會過時。此外，重新訓練模型也會帶來巨大的成本負擔。
- 提示工程旨在通過在輸入中提供更多描述性和說明性特征作為提示，幫助 LLM 得出高質量的結果。為模型提供額外的上下文并使其立足于事實，這樣就能降低模型產生幻覺的可能性。
- 檢索增強生成（RAG）是一種側重于用最準確、最新的信息為 LLM 提供基礎的框架。通過實時向模型提供來自外部知識庫的事實，可以改善 LLM 的響應。
檢索增強生成和實時數據
檢索增強生成是提高大型語言模型準確性的最有前途的技術之一。事實證明，RAG 與實時數據相結合可大大減輕幻覺。
RAG 使企業能夠利用最新的專有數據和上下文數據利用 LLM。除了減少幻覺之外，RAG 還能利用特定語境信息豐富輸入內容，從而幫助語言模型生成更準確、與語境更相關的響應。在企業環境中，微調往往是不切實際的，但 RAG 提供了一種低成本、高收益的替代方案，可用于提供個性化、信息靈通的用戶體驗。
為了提高 RAG 模型的效率，有必要將 RAG 與可操作的數據存儲結合起來，該數據存儲能夠以 LLMs 的母語存儲數據，即被稱為嵌入的高維數學向量，用于編碼文本的含義。當用戶提出查詢時，數據庫會將其轉換為數字向量。這樣，無論是否包含相同的術語，都可以通過向量數據庫查詢相關文本。
高可用性、高性能、能夠使用語義搜索存儲和查詢海量非結構化數據的數據庫是 RAG 流程的關鍵組成部分。
