人工智能已經(jīng)改變了人們的工作方式和與數(shù)據(jù)交互的方式。回想幾年前，研究人員必須編寫(xiě) SQL 查詢(xún)和代碼才能從大量數(shù)據(jù)中提取有用信息。如今，他們只需輸入問(wèn)題，由語(yǔ)言模型驅(qū)動(dòng)的底層系統(tǒng)會(huì)完成其余工作，讓用戶(hù)只需與數(shù)據(jù)對(duì)話(huà)即可立即獲得答案。

這些新系統(tǒng)向數(shù)據(jù)庫(kù)提供自然語(yǔ)言交互，這種轉(zhuǎn)變?nèi)〉昧素S碩成果，但仍存在一些問(wèn)題。從本質(zhì)上講，這些系統(tǒng)仍然無(wú)法處理各種查詢(xún)。

本文，來(lái)自 UC 伯克利和斯坦福大學(xué)的研究人員現(xiàn)在正努力用一種名為表格增強(qiáng)生成 (TAG，Table-Augmented Generation) 的新方法來(lái)解決這一問(wèn)題。

• 論文地址：https://arxiv.org/pdf/2408.14717
• 項(xiàng)目地址：https://github.com/TAG-Research/TAG-Bench
• 論文標(biāo)題：Text2SQL is Not Enough: Unifying AI and Databases with TAG

TAG 是一種統(tǒng)一且通用的范式，用于回答數(shù)據(jù)庫(kù)中的自然語(yǔ)言問(wèn)題。TAG 模型代表了 LM 和數(shù)據(jù)庫(kù)之間未曾探索過(guò)的廣泛交互。

TAG 是如何工作的

目前，當(dāng)用戶(hù)對(duì)自定義數(shù)據(jù)源提出自然語(yǔ)言問(wèn)題時(shí)，主要采用兩種方法：文本到 SQL 或檢索增強(qiáng)生成 (RAG)。

雖然這兩種方法都能很好地完成工作，但當(dāng)問(wèn)題變得復(fù)雜并超出系統(tǒng)能力時(shí)，用戶(hù)就會(huì)遇到問(wèn)題。

舉例來(lái)說(shuō)，文本到 SQL 的方法（這是一種將文本提示轉(zhuǎn)換為數(shù)據(jù)庫(kù)可以執(zhí)行的 SQL 查詢(xún)）僅關(guān)注可以用關(guān)系代數(shù)表達(dá)的自然語(yǔ)言問(wèn)題，但只能查詢(xún)用戶(hù)可能想要詢(xún)問(wèn)的一小部分問(wèn)題。

相似的，RAG 只能通過(guò)對(duì)數(shù)據(jù)庫(kù)中的一個(gè)或幾個(gè)數(shù)據(jù)記錄的點(diǎn)查找來(lái)回答相關(guān)的查詢(xún)。這種方法專(zhuān)注于直接從數(shù)據(jù)庫(kù)中檢索特定信息點(diǎn)，而不涉及更復(fù)雜的數(shù)據(jù)處理或分析。 

然而，對(duì)于商業(yè)用戶(hù)來(lái)說(shuō)，他們的問(wèn)題通常需要復(fù)雜的領(lǐng)域知識(shí)、世界知識(shí)、精確計(jì)算和語(yǔ)義推理的組合。

為了解決這一問(wèn)題，該研究提出了 TAG 系統(tǒng)，其實(shí)現(xiàn)主要包含三個(gè)步驟：查詢(xún)合成、查詢(xún)執(zhí)行和答案生成。

TAG 模型很簡(jiǎn)單，但功能強(qiáng)大，由以下三個(gè)方程定義：

值得注意的是，TAG 模型統(tǒng)一了之前的方法，包括 Text2SQL 和 RAG，它們僅代表了 TAG 的特殊情況并且僅能解決有限的用戶(hù)問(wèn)題子集。

查詢(xún)合成

首先，LM 推斷哪些數(shù)據(jù)與回答問(wèn)題相關(guān)，并將輸入轉(zhuǎn)換為該數(shù)據(jù)庫(kù)的可執(zhí)行查詢(xún)（不僅僅是 SQL） 。

其中，syn 函數(shù)接受自然語(yǔ)言請(qǐng)求 ?? 并生成要由數(shù)據(jù)庫(kù)系統(tǒng)執(zhí)行的查詢(xún) ??。對(duì)于給定的用戶(hù)請(qǐng)求，此步驟負(fù)責(zé) (a) 推斷哪些數(shù)據(jù)與回答請(qǐng)求相關(guān)，以及 (b) 執(zhí)行語(yǔ)義解析以將用戶(hù)請(qǐng)求轉(zhuǎn)換為可由數(shù)據(jù)庫(kù)系統(tǒng)執(zhí)行的查詢(xún)。此查詢(xún)可以使用任何查詢(xún)語(yǔ)言。論文示例中使用了 SQL。

如圖 1 所示，該查詢(xún)的問(wèn)題是「總結(jié)票房最高的被認(rèn)為是經(jīng)典的愛(ài)情電影的評(píng)論」。在這里，數(shù)據(jù)源包含有關(guān)每部電影的名字、收入、類(lèi)型和相關(guān)評(píng)論的信息。在此步驟中，系統(tǒng)利用 LM 的語(yǔ)義推理能力來(lái)生成 SQL 查詢(xún)，該查詢(xún)使用來(lái)自數(shù)據(jù)源的電影標(biāo)題、評(píng)論、收入和類(lèi)型的屬性。

查詢(xún)執(zhí)行

在查詢(xún)執(zhí)行階段，exec 函數(shù)在數(shù)據(jù)庫(kù)系統(tǒng)中執(zhí)行查詢(xún)??，獲取表??。此步驟利用數(shù)據(jù)庫(kù)查詢(xún)引擎對(duì)大量存儲(chǔ)的數(shù)據(jù)進(jìn)行有效地查詢(xún)。

如圖 1 所示，數(shù)據(jù)庫(kù)查詢(xún)是用 SQL 編寫(xiě)的 selection 和 ranking 查詢(xún)，它返回包含相關(guān)行的表。查詢(xún)使用 LM 執(zhí)行選擇，根據(jù)電影名字評(píng)估哪些電影是經(jīng)典電影，并使用標(biāo)準(zhǔn)類(lèi)型過(guò)濾器查找愛(ài)情電影。查詢(xún)還根據(jù)收入對(duì)結(jié)果進(jìn)行排名，以查找票房最高的電影。如圖所示，結(jié)果表包含電影泰坦尼克號(hào)的評(píng)論。

答案生成

在這一步中，gen 函數(shù)使用 LM 生成用戶(hù)自然語(yǔ)言請(qǐng)求 R 的答案 A。

還是以圖 1 為例，在 TAG pipeline 最后階段，輸出有關(guān)泰坦尼克號(hào)的評(píng)論摘要作為對(duì)原始用戶(hù)請(qǐng)求的回答。在示例中，相關(guān)數(shù)據(jù) ?? 被編碼為字符串，供模型處理。編碼表與原始用戶(hù)請(qǐng)求 ?? 一起傳遞給 LM。為了獲得答案，此步驟利用模型對(duì)評(píng)論列的語(yǔ)義推理能力來(lái)總結(jié)評(píng)論。

實(shí)驗(yàn)及結(jié)果

表 1 顯示了每種方法的精確匹配準(zhǔn)確率和執(zhí)行時(shí)間。如表所示，在選定的 BIRD （一個(gè)數(shù)據(jù)集，用于測(cè)試 LMs 的文本到 sql 的能力）查詢(xún)類(lèi)型中，研究者發(fā)現(xiàn)手寫(xiě) TAG（hand-written TAG）基線(xiàn)始終能達(dá)到 40% 或更高的精確匹配準(zhǔn)確率，而其他基線(xiàn)的準(zhǔn)確率均未超過(guò) 20%。

具體而言，Text2SQL 在所有基線(xiàn)上的表現(xiàn)都不佳，執(zhí)行準(zhǔn)確率不超過(guò) 20%，但在 Ranking 查詢(xún)上的表現(xiàn)尤其糟糕，準(zhǔn)確率只有 10%，因?yàn)樵S多 Ranking 查詢(xún)需要對(duì)文本進(jìn)行推理。Text2SQL + LM 在各個(gè)基線(xiàn)上的表現(xiàn)都同樣糟糕，但在基于匹配和比較的查詢(xún)上表現(xiàn)更差，準(zhǔn)確率只有 10%。

對(duì)于 RAG，可以看到它在所有查詢(xún)類(lèi)型中都不能正確回答單個(gè)查詢(xún)，這表明 RAG 不適合這個(gè)領(lǐng)域的查詢(xún)。

手寫(xiě) TAG 總體上正確回答了 55% 的查詢(xún)，在比較查詢(xún)中表現(xiàn)最佳，精確匹配準(zhǔn)確率為 65%。由于精確排序商品的難度較高，該基線(xiàn)在所有查詢(xún)類(lèi)型（排名查詢(xún)除外）中的表現(xiàn)始終良好，準(zhǔn)確率超過(guò) 50%。總體而言，與標(biāo)準(zhǔn)基線(xiàn)相比，此方法的準(zhǔn)確率提高了 20% 至 65%。

表 2 表明，由于省略了答案生成步驟，vanilla Text2SQL 在需要 LM 推理的查詢(xún)上表現(xiàn)較差，精確匹配準(zhǔn)確率為 10%。與此同時(shí)，RAG 基線(xiàn)和 Retrieval + LM Rank 基線(xiàn)在所有查詢(xún)類(lèi)型上都表現(xiàn)不好，只能正確回答一個(gè)查詢(xún)。相比之下，手寫(xiě) TAG 基線(xiàn)在需要知識(shí)的查詢(xún)和需要推理的查詢(xún)上都實(shí)現(xiàn)了超過(guò) 50% 的準(zhǔn)確率。

值得注意的是，除了提供卓越的準(zhǔn)確率外，手寫(xiě) TAG 方法還提供了高效的實(shí)現(xiàn)，與其他基線(xiàn)相比，執(zhí)行時(shí)間少用了 1/3。手寫(xiě)基線(xiàn)對(duì)所有查詢(xún)的平均耗時(shí)為 2.94 秒。

最后，該研究定性分析了每個(gè)基線(xiàn)在聚合查詢(xún)上的結(jié)果。圖 2 為一個(gè)示例展示，查詢(xún)的內(nèi)容為「提供有關(guān)雪邦國(guó)際賽車(chē)場(chǎng)的比賽資料」。

結(jié)果顯示，RAG 基線(xiàn)只能提供有關(guān)部分比賽的信息，因?yàn)榇蠖鄶?shù)相關(guān)比賽都無(wú)法被檢索到。另一方面，Text2SQL + LM 基線(xiàn)無(wú)法利用 DBMS 中的任何信息，僅依賴(lài)于參數(shù)知識(shí)并且不提供進(jìn)一步的分析。

相比較來(lái)說(shuō)，手寫(xiě)基線(xiàn)提供了 1999 年至 2017 年在雪邦國(guó)際賽道舉行的所有比賽的詳盡摘要。