現有文檔 RAG 評測都在不足：數據太小、查詢太假、證據太單一。

說到多模態大模型，國內快手也開源了Keye-VL-1.5-8B（國產大模型越來越好，就在昨天Claude點名全面封禁中國公司，離大譜），可本地部署，大家可以試試！????

不管RAG到Multi-RAG未來的趨勢還是Agentic RAG，PaperAgent也準備了實操指南：??從Agent到Flow Agent，動手搭建自己的AI助理智能體???

1.現有評測的不足

圖 2：主流 benchmark 查詢示例，信息不足或已提前泄露答案。

2.DOUBLE-BENCH 長啥樣？

圖 4：語料與語言分布，外圈為語言占比。

3.三步打造“真”考題

圖 3：DOUBLE-BENCH 構建流水線，紅框為人工介入環節。

1?? 元數據收集與清洗

• 10–50 頁文檔，GPT-4o 判語言，Docling & MinerU 做模態拆分（正文/表格/圖）

2??單跳查詢合成

• 四原則：自包含、禁止泄露源、聚焦顯著模態、多樣自然。
• 迭代 refine：若檢索返回 >5 候選頁，則自動加入區分細節再生成，直到 ≤5。

3??多跳查詢合成

• LightRAG 建知識圖譜 → 按“意圖游走”選路徑 → 逐跳替換實體并鏈式拼接。
• 人工審核邏輯嚴密性、答案唯一性、語法自然度。

4.實驗結果

4.1 檢索榜

表 3：主流 embedding 在 DOUBLE-BENCH 上的細粒度結果。

• 文本與視覺 embedding 差距已縮小到 2% 以內；多跳仍集體掉 20+ 點。

4.2 端到端 RAG 框架榜

表 4：RAG 框架檢索與回答準確率對比。

• 檢索決定上限：colqwen-gen 靠檢索優勢，在多跳上反超 MDocAgent。
• 過度自信現象：MDocAgent/ViDoRAG 即使沒召回證據也強行回答，幻覺率 30–40 %。

4.3 MLLM 裸跑 vs 給證據

• 充分說明 DOUBLE-BENCH未被數據污染，模型靠“背題庫”寸步難行。

表 5：MLLM 在“裸跑”與“開卷”下的準確率。

https://arxiv.org/pdf/2508.03644
Are We on the Right Way for Assessing Document Retrieval-Augmented Generation?

本文轉載自????PaperAgent??