aiops第一名方案-EasyRAG：自動網絡運營的高效檢索增強生成框架 原創
來看一個RAG比賽方案，提出了一個名為EasyRAG的框架，用于自動化網絡操作的檢索增強生成。該框架旨在解決網絡操作中信息檢索和生成效率低、準確性差的問題。研究難點包括：如何在保證準確性的前提下提高檢索和生成的效率；如何實現簡單快速的部署；如何在推理過程中顯著減少延遲。
比賽地址：competition.aiops-challenge.com
方法
整體包含兩部分，數據處理工作流和RAG工作流
EasyRAG框架
數據處理工作流
1.數據處理與文本分割
對原始數據進行處理，解壓并提取HTML文檔中的文本、圖像標題和路徑信息。使用SentenceSplitter進行分詞，初始按中文標點分割，然后根據設定的文本塊大小合并（文本分割chunk使用的塊大小（chunk-size）是1024，塊重疊大小（chunk-overlap）是200）。為了消除路徑影響，實現了一個自定義的分詞類，去除路徑長度的影響。
2.圖像信息提取：使用GLM-4V-9B模型從所有圖像中提取信息，并通過使用PP-OCRv4模型從圖像中提取文本內容，過濾掉不包含中文的圖像，再根據標題和內容過濾掉無用圖像。
RAG工作流
1.查詢重寫：在輸入RAG pipline之前，使用GLM4進行查詢重寫，包括查詢擴展和假設文檔嵌入（HyDE）。使用LLM總結查詢中的關鍵術語或其他潛在相關關鍵詞，即利用LLM的知識進行操作和通信領域的關鍵詞關聯和總結。這被稱為關鍵詞擴展；HyDE則通過生成虛構文檔來處理缺乏特異性的查詢。
生成假設性文檔的過程
2.粗排檢索：采用BM25算法進行雙路稀疏檢索和密集檢索。BM25算法基于詞頻（TF）和逆文檔頻率（IDF），并結合文檔長度信息計算文檔與查詢的相關性。密集檢索使用gte-Qwen2-7B-instruct模型，通過余弦相似度匹配召回相關文本塊。
3.重排：使用bge-reranker-v2-minicpm-layerwise模型(模型在中文和英文中都表現出高級的排名性能，并包括附帶工具代碼，可以方便地針對特定場景進行微調。在實際的推理（inference）過程中，重排器是耗時的部分。因此，EasyRAG框架探索了使用不同層數的模型來平衡推理時間和排名準確性。例如，可以選用28層或40層的模型，根據資源限制和性能需求進行選擇。)進行LLM重排，結合知識路徑和文本塊進行相似度排名，返回前K個最高排名的文本塊。
步驟：
a.文檔擴展：在重新排名階段，框架會將知識路徑與每個文本塊進行拼接，形成擴展后的文檔，這些文檔將用于檢索。
b.文本處理：將查詢（query）與粗排階段返回的k'個文本塊結合起來，形成k'個查詢-文檔對。這些查詢-文檔對被輸入到分詞器中，生成LLM的輸入數據。
c.相似性排名：將輸入數據喂給LLM，獲取查詢與每個文本塊的重新排名分數。根據這些分數對文本塊進行排序，通常返回分數最高的k個（通常是6個）文本塊作為最終結果。
4.多路排序融合
設計了多種排序融合策略，包括簡單合并和互惠排名融合（RRF）。簡單合并直接合并多路檢索結果，而RRF則通過對多路檢索結果的排名取倒數和來計算融合分數。
- 粗排合并：在粗排階段，框架會從多個檢索路徑（例如，基于文本塊的檢索和基于路徑的檢索）中獲取一組候選文檔。這些文檔集合會被去重并合并成一個單一的文檔集合，然后這個集合會被傳遞給重排器（Reranker）進行進一步的排序。
- 重排融合：在每個檢索路徑上完成粗排和重排后，框架會采用特定的融合策略來整合這些路徑的結果。
融合策略：
（1）使用RRF在粗略和精細排名后合并結果。
（2）將每條路線中的文本塊輸入到LLM中，以獲得各自答案，并選擇較長的答案作為最終答案。
（3）將每條路線中的文本塊輸入到LLM中，以獲得各自答案，并直接連接所有路線中的答案。
小結：實際應用中，通常更傾向于使用第一種重排融合策略，即對每個路徑分別進行重排，然后使用RRF融合結果作為最終輸入到LLM的上下文。這種方法在實踐中是有效的，因為它能夠在保持較高準確性的同時，提高處理效率。
5.LLM答案生成與優化：將重排后的前K個文本塊內容拼接成上下文字符串，再與問題一起輸入GLM4生成答案。設計了答案整合提示，允許LLM利用Top1文本塊補充和優化答案。
相關問答提示模版：
Markdown 格式問答模板：
## Objective
Please, based on the information from
k private domain documents about 5G
operational maintenance, answer the given
question.
## Requirements
1. You may itemize your answer; be as
detailed and specific as possible.
2. Do not merely repeat information from
the context.
3. Do not use your own knowledge; rely
solely on the content from the context
documents.
## Context
{context_str}
## Question
{query_str}
## Answer思維連問答模版：
Context information as follows:
----------
{context_str}
----------
Please answer the following question based
on the context information rather than your
own knowledge. Think step by step, first
provide an analysis process, then generate
an answer:
{query_str}
Answer:聚焦問答模版：
Context information as follows:
----------
{context_str}
----------
Please answer the following question based
on the context information rather than
your own knowledge. You may itemize
your answer. Document 0’s content is
particularly important, consider it carefully.
If the context does not contain relevant
knowledge, you may respond with ’uncertain’. Do not simply restate the context
information:
{query_str}
Answer:答案整合模板：
Context:
----------
{top1_content_str}
----------
You will see a question and a corresponding
reference answer
Please, based on the context knowledge and
not your own knowledge, supplement the
reference answer to make it more complete
in addressing the question
Please note, strictly retain every character
of the reference answer and reasonably
integrate your supplement with the reference answer to produce a longer, more
complete answer containing more terms
and itemization
Question:
{query_str}
Reference answer:
{answer_str}
New answer:參考文獻
- EasyRAG: Efficient Retrieval-Augmented Generation Framework for Automated Network Operations，https://arxiv.org/pdf/2410.10315v2
- code：https://github.com/BUAADreamer
本文轉載自公眾號大模型自然語言處理 作者：余俊暉
原文鏈接：??https://mp.weixin.qq.com/s/C5NUSlK2IW4F8_yGptUdAw??
