譯者 | 晶顏

審校 | 重樓

大型語言模型（LLM）正在重塑人工智能的格局，然其亦面臨一項持續性挑戰——檢索和利用超出其訓練數據的信息。目前，有兩種模式相左的方法可以解決這個問題：其一為InfiniRetri，該方法借助LLM自身的注意力機制，從長輸入中檢索相關上下文；其二是檢索增強生成（RAG），它在生成響應前，動態地從結構化數據庫獲取外部知識。

每種方法都有其獨特的優勢、局限性和權衡之處。InfiniRetri的目標是通過在模型現有架構內工作來最大限度地提高效率，而RAG通過集成實時外部信息來提高事實準確性。但究竟哪一種方法更優呢？

了解這兩種方法的運行機制，優勢及局限所在，對于確定它們在未來人工智能驅動的文本生成中的作用至關重要。

InfiniRetri和RAG如何檢索信息

InfiniRetri通過利用基于轉換器（Transformer）模型的原生注意力機制來動態地從長上下文中檢索相關的令牌。它并非無限制地擴展模型的上下文窗口，而是迭代選擇并僅保留最重要的令牌，從而能夠在優化內存效率的同時，處理顯著更長的輸入。

標準LLM處理有限長度的輸入，一旦超出上下文窗口就會丟棄先前的信息，而InfiniRetri使用滾動存儲系統。它按段處理文本，識別并僅存儲最相關的令牌，同時丟棄冗余信息。這使得它可以有效地從大量輸入中檢索關鍵細節，而不需要外部存儲或數據庫查找。

在諸如“大海撈針”（Needle-In-a-Haystack，NIH）測試等受控檢索場景中，InfiniRetri已經展示了超過100萬個令牌的100%檢索準確率，凸顯其在極長上下文中追蹤關鍵信息的能力。然而，這并不意味著它在所有任務中均能達到完美的準確性。

另一方面，RAG采用了一種完全不同的方法，它使用外部檢索步驟來擴展模型。當出現查詢時，RAG首先搜索知識庫——通常是矢量數據庫、文檔存儲庫或搜索引擎——以查找相關的支持文檔。

然后將這些檢索到的文本附加到LLM的輸入中，使其能夠生成基于實時外部信息的響應。該方法確保模型能夠訪問新的、特定于領域的知識，使其比純參數模型更不容易產生幻覺。

兩者的關鍵區別在于檢索發生的位置。InfiniRetri從內部檢索先前處理過的文本，而RAG從外部檢索結構化知識庫。這一差異對性能、效率及可擴展性均會產生重大影響。

哪種方法更有效？

InfiniRetri和RAG之間的性能比較揭示了在效率、準確性和計算需求方面的鮮明對比。InfiniRetri能夠在自身架構內動態檢索信息，這使其無需額外的基礎設施即可運行，即無需外部存儲、檢索器或微調嵌入。這使得它成為長文檔處理的絕佳選擇，尤其是當相關信息已經包含在提供的輸入之中時。

然而，InfiniRetri也確有局限性。由于它只在模型的注意力機制內運行，因此完全依賴于LLM預先存在的知識。如果一條信息并未包含在模型的訓練或輸入中，則無法被檢索到。這使得infinireti在回答需要最新知識的基于事實或實時查詢時效率較低。

相反地，RAG擅長知識密集型任務。因為它從外部數據庫中提取信息，所以它可以用真實的、實時的信息來補充模型的預訓練知識。這使得它在對準確性要求較高的法律文件處理和研究應用中非常有效。

然而，RAG對外部檢索的依賴也帶來了更高的計算成本，具體取決于所使用的檢索方法。此外，外部查詢會引入延遲，且延遲會隨數據庫大小而變化。在LLM生成響應之前，每個查詢都需要進行數據庫搜索、文檔檢索和擴展，這使得LLM在連續長文本處理方面明顯慢于InfiniRetri。

在計算效率方面，InfiniRetri具有明顯的優勢。由于它在內部檢索信息而無需對外部系統調用API，因此它的運行延遲較低，基礎設施需求較少。同時，RAG雖然功能強大，但受到其檢索器效率的限制，必須對其進行微調以確保高召回率和相關性。

哪一個符合你的需求？

雖然這兩種方法在各自的領域都非常有效，但都并非“放之四海而皆準”的解決方案。InfiniRetri最適合需要高效長文檔檢索但不需要外部知識更新的應用程序。這包括法律文件分析、多回合對話保留和長格式摘要。它選擇和保留相關標記的迭代方法使長文本處理高效，而不會占用大量內存，使其成為敘事一致性和基于推理的任務的強大選擇。

另一方面，RAG是現實世界信息檢索的理想選擇，在準確性和事實核查至關重要的情況下表現突出。它對于開放領域的問答、基于研究的應用以及必須將幻覺風險降至最低的行業十分有效。因為它從外部來源檢索，所以它確保響應保持在可驗證的事實基礎上，而不是依賴于模型的靜態訓練數據。

但是，RAG需要不斷維護其檢索基礎結構。更新外部數據庫對于保持準確性至關重要，而管理索引、嵌入和存儲可能會帶來極大的操作復雜性。此外，延遲也是一個主要問題，因為檢索時間隨著數據庫大小的增加而增加，這使得它不太適合速度至關重要的實時應用程序。

這些方法會合并嗎？

隨著人工智能研究的不斷進步，未來的檢索很可能不會是InfiniRetri和RAG之間的競爭，而是兩者的結合。混合方法可以利用InfiniRetri高效的基于注意力的檢索來處理長文檔，同時在必要時結合RAG獲取實時外部知識的能力。

一個頗具前景的方向是自適應檢索模型，LLM首先嘗試使用InfiniRetri的方法進行內部檢索。如果它確定缺少必要的信息，就會觸發一個外部的類似于RAG的檢索步驟。這將平衡計算效率和準確性，減少不必要的檢索調用，同時在需要時仍能確保基于事實的依據。

另一個開發領域是智能緩存機制，通過RAG從外部檢索到的相關信息，可以在內部使用InfiniRetri的注意力技術進行存儲和管理。這將允許模型在多個交互中重用檢索到的知識，而不需要重復的數據庫查詢，從而減少延遲并提高性能。

為工作選擇合適的工具

在InfiniRetri和RAG之間做出選擇，將最終取決于給定應用程序的特定需求。如果任務需要快速、高效和可擴展的長上下文檢索，InfiniRetri無疑是贏家。如果任務需要實時事實檢查和外部知識擴充，RAG將是最佳選擇。

雖然這兩種方法各有優勢，但實際上它們可以互補，特別是在混合系統中，動態平衡內部基于注意力的檢索和基于任務需求的外部知識增強。未來的檢索系統可能會整合兩者的優勢，從而產生更強大、適應性更強的人工智能模型。比起“非InfiniRetri 即RAG”的問題，LLM檢索的真正未來可能是InfiniRetri和RAG協同工作。

原文標題：Breaking the Context Barrier of LLMs: InfiniRetri vs RAG，作者：Graziano Casto