圖片

引言

聊天機器人的進步

近期生成式AI的進展顯著增強了聊天機器人的能力。這些由生成式人工智能驅動的聊天機器人在各個行業(yè)中的應用正在被探索[Bahrini等人，2023年；Castelvecchi，2023年；Badini等人，2023年]，其中制藥行業(yè)是一個顯著的關注領域。在藥物發(fā)現(xiàn)領域，最近的研究表明，由生成式人工智能驅動的聊天機器人在推進藥物發(fā)現(xiàn)方面可以發(fā)揮重要作用[Wang等人，2023年；Savage，2023年；Bran等人，2023年]。這樣的進步不僅簡化了發(fā)現(xiàn)過程，而且為聊天機器人提出新的研究想法或方法鋪平了道路，增強了研究的協(xié)作性。在醫(yī)療保健領域，聊天機器人在提供個性化支持方面被證明特別有效，這可以帶來更好的健康結果和更有效的治療管理[Ogilvie等人，2022年；Abbasian等人，2023年]。這些聊天機器人可以提供及時的用藥提醒、傳遞有關潛在副作用的信息，甚至協(xié)助安排醫(yī)生咨詢。

聊天機器人對藥物監(jiān)管指導的需求

在制藥行業(yè)中，另一個可以充分利用生成式人工智能的關鍵領域是確保符合監(jiān)管指南的要求。對于行業(yè)從業(yè)者來說，應對像美國食品藥品監(jiān)督管理局（FDA）和歐洲藥品管理局（EMA）等機構提供的復雜而廣泛的指南通常是一項令人生畏且耗時的任務。大量的指導方針，加上其復雜的細節(jié)，可能使公司難以快速找到并應用相關信息。這通常導致成本增加，因為團隊花費寶貴的時間瀏覽龐大的指導方針資料庫。最近的一項研究強調了遵守監(jiān)管指導方針的財務影響[Crudeli, 2020]。研究發(fā)現(xiàn)，合規(guī)工作可能消耗掉中型或大型制藥制造運營預算的25%。鑒于這些挑戰(zhàn)，制藥行業(yè)需要一種更高效的方法來導航和解釋監(jiān)管指導方針。大型語言模型（LLMs）可以有助于解決這個問題。然而，盡管它們經(jīng)過了廣泛的預訓練，LLMs在獲取未包含在其初始訓練數(shù)據(jù)中的知識時常常遇到固有的限制。特別是在高度專業(yè)化和詳細的制藥監(jiān)管合規(guī)領域，很明顯這種特定領域的知識并未完全包含在訓練材料中。因此，LLMs可能不足以準確回答該領域的問題。

檢索增強生成（RAG）模型作為連接這一差距的橋梁而脫穎而出。它不僅利用了這些模型的內在知識，還從外部來源獲取額外信息以生成響應。如[Wen等人，2023年]和[Yang等人]的工作所示，RAG框架能夠做到這一點。[2023年]的研究展示了如何巧妙地將豐富的背景資料與答案相結合，確保對查詢進行全面準確的回應。這些研究突顯了RAG在多種應用中的多功能性，從復雜故事的生成到定理的證明。

此外，有證據(jù)表明，RAG模型在典型的序列到序列模型和某些檢索與提取架構中表現(xiàn)卓越，特別是在知識密集型的自然語言處理任務中。盡管RAG取得了進步，但我們認識到，傳統(tǒng)RAG方法在監(jiān)管合規(guī)領域的準確性可能不足，該領域需要特定領域的、高度專業(yè)化的信息。因此，我們引入了問答檢索增強生成（QA-RAG）。QA-RAG模型專為需要專業(yè)知識的高度特定領域設計，它精確地將監(jiān)管指南與實際實施對齊，簡化了制藥行業(yè)的合規(guī)流程。

核心速覽

研究背景

1. 研究問題：這篇文章要解決的問題是如何在制藥行業(yè)中利用生成式AI和檢索增強生成（RAG）方法來提高監(jiān)管合規(guī)的效率和準確性。
2. 研究難點：該問題的研究難點包括：制藥行業(yè)監(jiān)管指南的復雜性和詳盡性，傳統(tǒng)RAG方法在處理高度專業(yè)化信息時的局限性，以及如何在保證準確性的同時提高檢索效率。
3. 相關工作：該問題的研究相關工作包括生成式AI在藥物發(fā)現(xiàn)和醫(yī)療保健中的應用，RAG模型在復雜故事生成和定理證明中的應用，以及在知識密集型NLP任務中的優(yōu)勢。

研究方法

這篇論文提出了QA-RAG模型用于解決制藥行業(yè)監(jiān)管合規(guī)問題。具體來說，

1. 整體結構：QA-RAG模型利用微調后的LLM代理提供的答案和原始查詢來檢索文檔。一半的文檔通過微調后的LLM代理提供的答案獲取，另一半通過原始查詢獲取。然后，系統(tǒng)對檢索到的文檔進行重新排序，只保留與問題最相關的文檔。
   
   
   
2. 文檔預處理和相似性搜索：使用密集檢索方法（如Facebook AI Similarity Search, FAISS）來提取文檔。文檔通過OCR技術轉換為文本，并分割成多個塊。使用LLM嵌入器對文檔進行嵌入。
3. 雙軌檢索：結合微調后的LLM代理的答案和原始查詢進行文檔檢索。這種方法不僅擴大了搜索范圍，還捕捉了更廣泛的相關信息。
4. 微調過程：使用FDA的官方問答數(shù)據(jù)集進行微調。選擇了ChatGPT 3.5- Turbo和Mistral-7B作為基礎LLM模型。微調過程中使用了LoRA技術來高效地調整模型參數(shù)。
5. 重新排序：使用BGE重新排序器對檢索到的文檔進行重新排序，評估每個文檔與查詢的相關性，并保留相關性最高的文檔。
6. 最終答案生成：使用ChatGPT-3.5- Turbo模型作為最終答案代理，通過少樣本提示技術生成最終答案。

實驗設計

1. 數(shù)據(jù)集：使用FDA的官方問答數(shù)據(jù)集進行微調，共收集到1681個問答對。數(shù)據(jù)集分為訓練集（85%）、驗證集（10%）和測試集（5%）。
2. 實驗設置：在實驗中，固定每次檢索的文檔數(shù)量為24個，并在后處理階段篩選出前6個最相關的文檔。比較了不同方法在上下文檢索和答案生成方面的性能。
3. 基線選擇：包括僅使用原始查詢的方法、多查詢問題和HyDE方法等。

結果與分析

圖片

1. 重新排序與評分代理的比較：重新排序器在上下文精度和召回率方面幾乎在所有方法中都優(yōu)于評分代理，表明重新排序器在準確識別相關文檔方面的優(yōu)勢。
2. 上下文檢索性能評估：QA-RAG模型結合了微調后的LLM代理的答案和原始查詢，實現(xiàn)了最高的上下文精度（0.717）和召回率（0.328）。HyDE方法的性能次之，而僅使用原始查詢的方法表現(xiàn)最差。
3. 答案生成性能評估：QA-RAG模型在精度（0.551）、召回率（0.645）和F1分數(shù)（0.591）方面均表現(xiàn)出色，接近于上下文檢索性能的前三名。
4. 消融研究：僅使用假設答案的方法在上下文精度上略低于完整模型，但顯著高于僅使用原始查詢的方法。這表明假設答案在提高精度方面的關鍵作用。

倫理聲明

在QA-RAG模型的開發(fā)和應用中，我們強調其作為醫(yī)藥領域專業(yè)人士的補充工具的作用。雖然該模型提高了導航復雜指南的效率和準確性，但其設計目的是增強而非取代人類的專業(yè)知識和判斷。

用于訓練和評估模型的數(shù)據(jù)集包括來自美國食品藥品監(jiān)督管理局（FDA）和國際人用藥品注冊技術協(xié)調會（ICH）的公開可訪問文檔，并遵守所有適用的數(shù)據(jù)隱私和安全協(xié)議。

總體結論

這篇論文提出的QA-RAG模型在制藥行業(yè)監(jiān)管合規(guī)領域展示了其有效性。通過結合生成式AI和RAG方法，QA-RAG模型能夠高效地檢索相關文檔并生成準確的答案。該模型不僅提高了合規(guī)過程的效率和準確性，還減少了對人類專家的依賴，為未來在制藥行業(yè)及其他領域的應用奠定了基礎。未來的研究應繼續(xù)評估和改進該模型，以應對不斷變化的數(shù)據(jù)和行業(yè)實踐。

論文評價

優(yōu)點與創(chuàng)新

1. 顯著提高了準確性：QA-RAG模型在對比實驗中展示了顯著的準確性提升，超過了所有其他基線方法，包括傳統(tǒng)的RAG方法。
2. 結合了生成式AI和RAG方法：該模型巧妙地將生成式AI與檢索增強生成（RAG）方法結合，利用生成式AI的強大生成能力和RAG方法的檢索能力。
3. 針對領域高度定制化：QA-RAG模型專為制藥行業(yè)的高度專業(yè)化領域設計，能夠精確地將監(jiān)管指南與實際實施對齊，簡化了合規(guī)流程。
4. 雙重檢索機制：通過結合用戶問題和微調后的LLM生成的假設答案進行文檔檢索，擴大了搜索范圍并捕捉了更廣泛的相關信息。
5. 細調后的LLM：使用在特定領域數(shù)據(jù)上細調的LLM生成假設答案，顯著提高了檢索文檔的精度和準確性。
6. 多種評估指標：采用了Ragas框架和BertScore等多種評估指標，全面評估了上下文檢索和答案生成的準確性。
7. 公開可用：研究團隊將工作公開發(fā)布，以便進一步研究和開發(fā)。

不足與反思

1. 長期影響需要持續(xù)評估：像任何新興技術一樣，QA-RAG模型在各個行業(yè)的長期影響需要持續(xù)的評估和改進。
2. 適應性和魯棒性：需要確保模型在面對數(shù)據(jù)和行業(yè)實踐的變化時保持適應性和魯棒性。
3. 模型性能的提升：未來的發(fā)展應繼續(xù)關注提升模型的性能，確保其與不斷發(fā)展的生成式AI技術保持同步。
4. 倫理聲明：開發(fā)和應用QA-RAG模型時，強調其作為專業(yè)人員的補充工具的角色，旨在增強而非取代人類的專業(yè)知識和判斷。

關鍵問題及回答

問題1：QA-RAG模型在文檔檢索過程中如何利用生成式AI和RAG方法？

QA-RAG模型采用了雙軌檢索策略，結合了生成式AI和RAG方法。具體步驟如下：

1. 文檔預處理和相似性搜索：使用密集檢索方法（如Facebook AI Similarity Search, FAISS）來提取文檔。文檔通過OCR技術轉換為文本，并分割成多個塊。使用LLM嵌入器對文檔進行嵌入。
2. 雙軌檢索：結合微調后的LLM代理的答案和原始查詢進行文檔檢索。一半的文檔通過微調后的LLM代理提供的答案獲取，另一半通過原始查詢獲取。這種方法不僅擴大了搜索范圍，還捕捉了更廣泛的相關信息。
3. 重新排序：系統(tǒng)對檢索到的文檔進行重新排序，只保留與問題最相關的文檔。使用BGE重新排序器對檢索到的文檔進行重新排序，評估每個文檔與查詢的相關性，并保留相關性最高的文檔。

問題2：在QA-RAG模型中，微調后的LLM代理在文檔檢索和答案生成中的作用是什么？

1. 文檔檢索：微調后的LLM代理生成的假設答案被用于檢索文檔。具體來說，一半的文檔通過微調后的LLM代理提供的答案獲取，另一半通過原始查詢獲取。這種方法不僅擴大了搜索范圍，還捕捉了更廣泛的相關信息。
2. 答案生成：最終答案通過少樣本提示技術生成，使用ChatGPT-3.5- Turbo模型作為最終答案代理。微調后的LLM代理在生成假設答案時，能夠提供與制藥監(jiān)管指南高度相關的信息，從而指導后續(xù)的文檔檢索和最終答案的生成。

問題3：QA-RAG模型在實驗中表現(xiàn)如何，與其他基線方法相比有哪些優(yōu)勢？

1. 上下文檢索性能：QA-RAG模型結合了微調后的LLM代理的答案和原始查詢，實現(xiàn)了最高的上下文精度（0.717）和召回率（0.328）。相比之下，HyDE方法的性能次之，而僅使用原始查詢的方法表現(xiàn)最差。
2. 答案生成性能：QA-RAG模型在精度（0.551）、召回率（0.645）和F1分數(shù)（0.591）方面均表現(xiàn)出色，接近于上下文檢索性能的前三名。
3. 重新排序與評分代理的比較：重新排序器在上下文精度和召回率方面幾乎在所有方法中都優(yōu)于評分代理，表明重新排序器在準確識別相關文檔方面的優(yōu)勢。
4. 消融研究：僅使用假設答案的方法在上下文精度上略低于完整模型，但顯著高于僅使用原始查詢的方法。這表明假設答案在提高精度方面的關鍵作用。

總體而言，QA-RAG模型通過結合生成式AI和RAG方法，顯著提高了制藥行業(yè)監(jiān)管合規(guī)的效率和準確性，減少了對人類專家的依賴。