一、回顧下 RAG

RAG 的基本工作流程

RAG 的全稱(chēng)是 "Retrieval-Augmented Generation" ，翻譯成人話就是"檢索增強(qiáng)生成"。聽(tīng)起來(lái)還是很專(zhuān)業(yè)對(duì)吧？讓我用一個(gè)生活中的例子來(lái)解釋。

想象你是一個(gè)剛?cè)肼毜男聠T工，老板突然問(wèn)你："咱們公司去年第三季度的銷(xiāo)售數(shù)據(jù)怎么樣？"作為新人，你肯定不知道答案。這時(shí)候你會(huì)怎么辦？當(dāng)然是先去查資料啊！你可能會(huì)翻翻公司的財(cái)務(wù)報(bào)表、問(wèn)問(wèn)其他同事、查查內(nèi)部系統(tǒng)，然后把找到的信息整理一下，給老板一個(gè)完整的回答。

RAG 就是讓 AI 做同樣的事情。當(dāng)你問(wèn) AI 一個(gè)問(wèn)題時(shí)，它不會(huì)直接憑空編造答案（那樣容易"胡說(shuō)八道"），而是會(huì)先去"查資料"——從龐大的知識(shí)庫(kù)中搜索相關(guān)信息，然后基于這些真實(shí)可靠的資料來(lái)回答你的問(wèn)題。這樣一來(lái)，AI 的回答就有了依據(jù)，準(zhǔn)確性大大提高。

讓我們用一個(gè)簡(jiǎn)單的流程圖來(lái)看看 RAG 是怎么工作的： 

圖片

一切都看起來(lái)很完美對(duì)吧？但實(shí)際上，這個(gè)流程有一個(gè)很大的問(wèn)題：在第 E 步"挑選前 10 篇最相關(guān)的"這里，AI 經(jīng)常會(huì)"挑錯(cuò)"。 它可能把一篇講糖尿病發(fā)病機(jī)理的學(xué)術(shù)論文排在第一位，而把真正實(shí)用的飲食指南排在第八位。這就是為什么我們需要 Rerank 技術(shù)的原因。

二、Rerank 是什么？

如果把 RAG 比作一個(gè)找資料的過(guò)程，那么 Rerank 就像是一個(gè)經(jīng)驗(yàn)豐富的智能秘書(shū)。當(dāng) AI 初步找到了一堆可能有用的資料后，這個(gè)"智能秘書(shū)"會(huì)仔細(xì)審查每一份資料，評(píng)估它們與你的問(wèn)題到底有多匹配，計(jì)算其相關(guān)性，然后重新排列順序，把最有用的放在最前面。

舉個(gè)具體例子：你問(wèn)"如何治療失眠？" 沒(méi)有 Rerank 的情況下，AI 可能會(huì)這樣排序：

1. 《睡眠障礙的神經(jīng)生物學(xué)機(jī)制研究》（學(xué)術(shù)性太強(qiáng)）
2. 《安眠藥的藥理作用分析》（太專(zhuān)業(yè)）
3. 《改善睡眠質(zhì)量的 10 個(gè)小貼士》（這個(gè)才是你真正需要的！)

有了 Rerank 之后，排序變成了：

1. 《改善睡眠質(zhì)量的 10 個(gè)小貼士》
2. 《失眠患者的日常調(diào)理方法》
3. 《睡前放松技巧大全》 看到區(qū)別了嗎？Rerank 就像一個(gè)懂你的朋友，知道你真正想要的是什么。

三、Rerank 的工作原理：從"粗篩"到"精選"

Rerank 采用的是"兩步走"策略，我們用公司招聘過(guò)程舉例：

第一步：海選（初步檢索）

就像公司招聘時(shí)先通過(guò)簡(jiǎn)歷篩選一樣，AI 會(huì)快速瀏覽整個(gè)知識(shí)庫(kù)，把所有可能相關(guān)的文檔都找出來(lái)。這一步追求的是"寧可錯(cuò)殺一千，不可放過(guò)一個(gè)"，所以會(huì)找到很多文檔，幾十上百篇，甚至更多。

第二步：面試（Rerank 精選）

接下來(lái)就是 Rerank 的主場(chǎng)了。它會(huì)像面試官一樣，仔細(xì)"面試"每一篇文檔，問(wèn)它們："你真的能回答用戶的問(wèn)題嗎？你的內(nèi)容有多相關(guān)？你的信息有多可靠？"然后給每篇文檔打分，重新排序。 

圖片

這種"兩步走"的好處是既保證了速度（第一步很快），又保證了質(zhì)量（第二步很準(zhǔn)）。

三、Rerank 的特性

語(yǔ)義理解能力

傳統(tǒng)的搜索方式主要靠"關(guān)鍵詞匹配"，就像古代的"對(duì)暗號(hào)"一樣死板。比如你搜"手機(jī)發(fā)熱"，它只會(huì)找包含"手機(jī)"和"發(fā)熱"這兩個(gè)詞的文章。 但 Rerank 不一樣，它具備強(qiáng)大的語(yǔ)義理解能力。即使你問(wèn)的是"手機(jī)燙手怎么辦？"，它也能理解你說(shuō)的"燙手"其實(shí)就是"發(fā)熱"的意思，從而找到真正相關(guān)的解決方案。

上下文關(guān)聯(lián)分析

Rerank 還能理解詞語(yǔ)之間的關(guān)聯(lián)關(guān)系。比如當(dāng)你問(wèn)"糖尿病患者能吃什么水果？"時(shí)，它不僅知道你在問(wèn)糖尿病，還能理解這個(gè)問(wèn)題涉及到血糖控制、營(yíng)養(yǎng)成分、水果的糖分含量等多個(gè)相關(guān)概念，從而找到最全面、最準(zhǔn)確的答案。

個(gè)性化推薦

更厲害的是，先進(jìn)的 Rerank 系統(tǒng)還能根據(jù)你的提問(wèn)習(xí)慣和背景來(lái)調(diào)整排序。比如，如果系統(tǒng)發(fā)現(xiàn)你經(jīng)常問(wèn)一些基礎(chǔ)性的健康問(wèn)題，它就會(huì)優(yōu)先推薦通俗易懂的科普文章，而不是專(zhuān)業(yè)的醫(yī)學(xué)論文。

四、Rerank 的技術(shù)原理

雙編碼器 vs 交叉編碼器

Rerank 主要用到兩種技術(shù)方法：

雙編碼器（就像兩個(gè)獨(dú)立的翻譯官）：

想象有兩個(gè)翻譯官，一個(gè)專(zhuān)門(mén)翻譯你的問(wèn)題，另一個(gè)專(zhuān)門(mén)翻譯文檔內(nèi)容。他們各自工作，然后比較翻譯結(jié)果的相似度。這種方法速度快，但有時(shí)候會(huì)"理解偏差"。

交叉編碼器（就像一個(gè)全能的分析師）：

這就像一個(gè)既懂你的問(wèn)題又懂文檔內(nèi)容的全能分析師，他會(huì)把你的問(wèn)題和每篇文檔放在一起綜合分析，判斷它們的匹配度。雖然慢一點(diǎn)，但準(zhǔn)確性更高。

Rerank 通常使用交叉編碼器，因?yàn)樵诤蜻x文檔數(shù)量不多的情況下（比如只有幾十篇），準(zhǔn)確性比速度更重要。

Rerank 的評(píng)分機(jī)制

Rerank 給每篇文檔打分的過(guò)程，就像老師給學(xué)生作文打分一樣：

1. 相關(guān)性得分：這篇文檔和問(wèn)題有多相關(guān)？（占 40%）
2. 完整性得分：這篇文檔的信息是否完整？（占 30%）
3. 可讀性得分：這篇文檔是否容易理解？（占 20%）
4. 時(shí)效性得分：這篇文檔的信息是否是最新的？（占 10%） 最后把所有得分加起來(lái)，分?jǐn)?shù)最高的文檔排在最前面。比如你向 AI 提出"美聯(lián)儲(chǔ)加息對(duì) A 股的影響"，通過(guò) Rerank 會(huì)得出更可靠的回答。

圖片

五、常見(jiàn) Rerank 模型

目前市面上有很多優(yōu)秀的 Rerank 模型，每個(gè)都有自己的特點(diǎn)：

模型對(duì)比表

圖片

選擇建議速查表

圖片

推薦模型詳解

bge-reranker-v2-m3

• 優(yōu)勢(shì)：中英文雙語(yǔ)優(yōu)化，在中文場(chǎng)景下表現(xiàn)卓越
• 適用場(chǎng)景：中文知識(shí)問(wèn)答、客服系統(tǒng)、文檔檢索
• 技術(shù)特點(diǎn)：560M 參數(shù)，支持多語(yǔ)言，部署友好
• 性能指標(biāo)：NDCG@10 達(dá)到 0.67，在中文檢索任務(wù)中表現(xiàn)優(yōu)異

Cohere/rerank-multilingual-v3.0

• 優(yōu)勢(shì)：商業(yè)級(jí)穩(wěn)定性，API 服務(wù)便捷
• 適用場(chǎng)景：大型企業(yè)應(yīng)用，高并發(fā)場(chǎng)景
• 技術(shù)特點(diǎn)：支持 100+語(yǔ)言，云端 API 調(diào)用
• 性能指標(biāo)：多項(xiàng)基準(zhǔn)測(cè)試中排名前列

TinyBERT-reranker

• 優(yōu)勢(shì)：極致輕量，推理速度快
• 適用場(chǎng)景：移動(dòng)端應(yīng)用，邊緣計(jì)算，實(shí)時(shí)系統(tǒng)
• 技術(shù)特點(diǎn)：模型大小僅為 BERT 的 1/7，速度提升 9 倍
• 性能指標(biāo)：在保持較高準(zhǔn)確率的同時(shí)大幅提升速度