一種先進(jìn)的檢索增強(qiáng)型生成（RAG）開(kāi)源解決方案，旨在解決簡(jiǎn)單的基于語(yǔ)義相似性的檢索無(wú)法解決的復(fù)雜問(wèn)題。

展示了一個(gè)復(fù)雜的確定性圖，作為高度可控的自主Agent的“大腦”，能夠回答來(lái)自私域數(shù)據(jù)的復(fù)雜問(wèn)題。

關(guān)鍵特性 

• 復(fù)雜的確定性圖：作為Agent的“大腦”，使復(fù)雜推理成為可能。
• 可控自主Agent：能夠回答自定義數(shù)據(jù)集中的復(fù)雜問(wèn)題。
• 幻覺(jué)預(yù)防：確保答案僅基于提供的數(shù)據(jù)，避免AI幻覺(jué)。
• 多步驟推理：將復(fù)雜查詢(xún)分解為可管理的子任務(wù)。
• 適應(yīng)性規(guī)劃：基于新信息不斷更新其計(jì)劃。
• 性能評(píng)估：使用Ragas指標(biāo)進(jìn)行全面質(zhì)量評(píng)估。

工作流程

• PDF加載和處理：加載PDF文檔并將其拆分為章節(jié)。
• 文本預(yù)處理：清洗和預(yù)處理文本，以獲得更好的摘要和編碼。
• 摘要：使用大型語(yǔ)言模型為每個(gè)章節(jié)生成廣泛的摘要。
• 書(shū)籍引用數(shù)據(jù)庫(kù)創(chuàng)建：為需要訪問(wèn)書(shū)籍引用的特定問(wèn)題創(chuàng)建數(shù)據(jù)庫(kù)。
• 向量存儲(chǔ)編碼：將書(shū)籍內(nèi)容和章節(jié)摘要編碼為向量存儲(chǔ)，以便高效檢索。
• 問(wèn)題處理：

通過(guò)將命名實(shí)體替換為變量來(lái)匿名化問(wèn)題。

為匿名化的問(wèn)題生成高層次的計(jì)劃。

去匿名化計(jì)劃并將其分解為可檢索或可回答的任務(wù)。

• 任務(wù)執(zhí)行：
• 對(duì)于每個(gè)任務(wù)，根據(jù)上下文決定是檢索信息還是回答問(wèn)題。
• 如果是檢索，從向量存儲(chǔ)中獲取相關(guān)信息并提煉它。
• 如果是回答，使用思維鏈推理生成響應(yīng)。
• 驗(yàn)證和重新規(guī)劃：
• 驗(yàn)證生成的內(nèi)容是否基于原始上下文。
• 根據(jù)新信息重新規(guī)劃剩余步驟。
• 最終答案生成：使用累積的上下文和思維鏈推理生成最終答案。

使用案例：哈利·波特書(shū)籍分析 

該算法使用第一本哈利·波特書(shū)籍進(jìn)行了測(cè)試，允許監(jiān)控模型對(duì)檢索信息與預(yù)訓(xùn)練知識(shí)依賴(lài)度的對(duì)比。這種選擇使我們能夠驗(yàn)證模型是在使用其預(yù)訓(xùn)練的知識(shí)，還是嚴(yán)格依賴(lài)從向量存儲(chǔ)中檢索到的信息。

示例問(wèn)題 問(wèn)：主人公是如何打敗反派的助手的？

為了解決這個(gè)問(wèn)題，需要執(zhí)行以下步驟：

1. 確定情節(jié)中的主角。
2. 確定反派角色。
3. 確定反派的助手。
4. 搜索主角與反派之間的對(duì)抗或互動(dòng)。
5. 推斷導(dǎo)致主角打敗助手的原因。Agent能夠分解并解決這樣復(fù)雜的查詢(xún)，展示了其復(fù)雜的推理能力。

https://github.com/NirDiamant/Controllable-RAG-Agent

本文轉(zhuǎn)載自??PaperAgent??