譯者 | 李睿

審校 | 重樓

使用TAG和RAG可以簡化客戶反饋分析，從大型數(shù)據(jù)集中高效地提取見解，以增強決策并提高客戶參與度。

在當今數(shù)據(jù)驅(qū)動的環(huán)境中，企業(yè)通過評論、調(diào)查和社交媒體互動獲得了大量的客戶反饋。雖然這些信息可以產(chǎn)生寶貴的見解，但也提出了一個重大挑戰(zhàn)：如何從大量的信息中提取有意義的數(shù)據(jù)。先進的分析技術(shù)正在徹底改變?nèi)藗兝斫饪蛻羟榫w的方法。其中最具創(chuàng)新性的是表格增強生成（TAG）和檢索增強生成（RAG），它們使企業(yè)能夠同時使用自然語言處理（NLP）從數(shù)千條評論中獲得復雜的見解。

本文將深入研究TAG和RAG的工作原理、它們對數(shù)據(jù)標記和Text-to-SQL生成的含義，以及它們在真實場景中的實際應用。通過提供具體的示例，說明了這些技術(shù)如何增強數(shù)據(jù)分析和促進明智的決策，從而滿足經(jīng)驗豐富的數(shù)據(jù)科學家和新入行者的需求。

利用RAG獲得高級數(shù)據(jù)洞察

RAG代表了企業(yè)如何提取和解釋大量數(shù)據(jù)的革命性飛躍。通過將檢索機制與語言模型的強大功能相結(jié)合，RAG允許用戶提出自然語言問題，并從龐大的數(shù)據(jù)集（如客戶評論或產(chǎn)品反饋）中獲得高度相關(guān)的實時答案。

本節(jié)將分解RAG的核心組件，每個步驟都通過可視化的方式來說明該過程的工作原理。

查詢輸入和向量化

RAG過程的第一步是查詢輸入和向量化。當用戶輸入一個查詢時，例如“哪里有最好的家庭友好型酒店？”，RAG會將這個問題轉(zhuǎn)換成一種稱為向量的數(shù)字格式。這個向量表示問題的含義，并為下一步做準備：檢索相關(guān)數(shù)據(jù)。

圖1查詢輸入和向量化示意圖

圖1描述了用戶鍵入查詢以及隨后將查詢轉(zhuǎn)換為向量格式的過程。它強調(diào)了問題如何被編碼成機器可以處理的數(shù)字。

從向量數(shù)據(jù)庫中檢索場景

一旦查詢被向量化，RAG就會搜索包含數(shù)百萬條預處理信息（例如客戶評論、產(chǎn)品描述等）的預先存在的向量數(shù)據(jù)庫。RAG系統(tǒng)基于語義相似性識別與查詢最相關(guān)的數(shù)據(jù)。例如，如果有人詢問適合家庭入住的酒店，RAG會提取包含與家庭、兒童設施和家庭服務相關(guān)術(shù)語的評論。

圖2從向量數(shù)據(jù)庫中檢索場景的示意圖

該圖展示了RAG如何從龐大的向量化數(shù)據(jù)庫中檢索相關(guān)評論或數(shù)據(jù)，將看到向量化查詢?nèi)绾闻c系統(tǒng)中存儲的相應相關(guān)數(shù)據(jù)點相匹配。

自然語言答案生成

在檢索完相關(guān)數(shù)據(jù)之后，RAG的最后一步是生成自然語言答案。然后，檢索到的評論通過語言模型進行傳遞，該模型將數(shù)據(jù)合成為連貫的、易于閱讀的回復。用戶的查詢采用自然語言回答，并通過檢索數(shù)據(jù)提供的豐富場景而更加具體。

圖3自然語言答案生成示意圖

圖3說明了將檢索到的數(shù)據(jù)如何轉(zhuǎn)換為可讀的自然語言響應。它演示了RAG如何從其處理的大量數(shù)據(jù)中合成有意義的答案，使非技術(shù)用戶可以訪問復雜的數(shù)據(jù)集。

理解TAG及其作用

TAG通過系統(tǒng)的三步過程在語言模型和數(shù)據(jù)庫之間創(chuàng)建結(jié)構(gòu)化連接，從而增強了傳統(tǒng)的Text-to-SQL方法：

（1）數(shù)據(jù)相關(guān)性和查詢合成：TAG標識相關(guān)數(shù)據(jù)以處理用戶查詢，并生成與底層數(shù)據(jù)庫結(jié)構(gòu)一致的優(yōu)化SQL查詢。

（2）數(shù)據(jù)庫執(zhí)行：對數(shù)據(jù)集執(zhí)行生成的SQL查詢，有效地過濾和檢索相關(guān)的見解。

（3）自然語言答案生成：TAG將處理過的數(shù)據(jù)轉(zhuǎn)換成連貫的、場景豐富的響應，簡化了用戶解釋。

圖4 TAG系統(tǒng)的三步過程

數(shù)據(jù)標注的重要性

數(shù)據(jù)標記對于組織和分類信息至關(guān)重要，特別是在包含非結(jié)構(gòu)化文本的數(shù)據(jù)集中。這個過程允許系統(tǒng)識別模式和場景，顯著提高TAG的有效性。

通過利用數(shù)據(jù)標簽系統(tǒng)地對大量信息進行分類，特別是來自非結(jié)構(gòu)化文本源的信息，工程團隊可以分配有意義的標簽來訓練識別模式和理解場景的系統(tǒng)，從而改進搜索和推薦系統(tǒng)等功能。

例如，當用戶在搜索引擎中輸入查詢時，數(shù)據(jù)標記使系統(tǒng)能夠通過解釋用戶輸入背后的意圖來提供最相關(guān)的結(jié)果。同樣，在社交媒體和電子商務平臺上，標簽數(shù)據(jù)可以根據(jù)用戶偏好對內(nèi)容進行分類，從而實現(xiàn)個性化體驗。因此，數(shù)據(jù)標簽構(gòu)成了技術(shù)提供商提供更智能、更高效服務的支柱。

數(shù)據(jù)標簽的主要好處

• 提高準確性：標記數(shù)據(jù)有助于機器學習模型更好地理解用戶意圖，從而生成更精確的SQL查詢。
• 增強查詢相關(guān)性：清晰的標識符允許系統(tǒng)對結(jié)果進行優(yōu)先級排序，從而提高相關(guān)性。
• 促進用戶理解：標簽提供場景，幫助用戶更輕松地解釋數(shù)據(jù)。

旅游評論中的數(shù)據(jù)標簽示例

• 家庭友好型：確定酒店有適合家庭的設施，例如兒童俱樂部和保姆服務。
• 寵物友好型：確定酒店可以允許客戶帶寵物，提供寵物床和寵物區(qū)等相關(guān)服務。
• 奢華：指提供優(yōu)質(zhì)服務和專屬設施的高端酒店。
• 物有所值：強調(diào)提供優(yōu)質(zhì)服務的實惠選擇。

描述性標簽使組織能夠簡化檢索過程，確保用戶及時獲得相關(guān)見解。

利用TAG與旅游評論數(shù)據(jù)

考慮一個旅游評論數(shù)據(jù)集，其中包含reviewerID、hotelID、reviewerName、reviewText、摘要和總體評分等字段。這些結(jié)構(gòu)化數(shù)據(jù)構(gòu)成了生成針對各種用戶需求的可操作見解的基礎。

循序漸進的過程

步驟1：數(shù)據(jù)導入和準備

這個過程首先是導入捕捉客戶情緒的數(shù)據(jù)集，包括總體評級和反饋。這個初始階段通常包括：

（1）數(shù)據(jù)清理：

• 刪除重復評論：根據(jù)reviewerID和hotelID識別和刪除重復評論，以確保唯一性。
• 糾錯：發(fā)現(xiàn)并糾正錯誤，例如拼寫錯誤或評分量表不一致（例如，使用1-5分與0-10分）。
• 處理缺失值：評估如有用的投票數(shù)和reviewText字段的缺失條目，并決定采用適當?shù)牟逖a或刪除策略。

（2）預處理：

• 文本規(guī)范化：通過將文本轉(zhuǎn)換為小寫、刪除特殊字符和確保格式一致來規(guī)范文本。
• 標記化：將reviewText分解為單個標記（單詞或短語），以便于分析。
• 刪除停用詞：過濾掉對分析沒有意義的常見詞。
• 詞源化/詞干化：將單詞還原為其基本形式，以統(tǒng)一各種變體。

（3）NLP技巧：

• 情感分析：為評論分配情感分數(shù)，以評估整體客戶滿意度。
• 關(guān)鍵字提?。?/strong>使用TF-IDF或主題建模（如LDA）等技術(shù)識別評論中的關(guān)鍵主題。

（4）可擴展性和性能

處理較大的數(shù)據(jù)集：

• 分布式計算：TAG可以利用Apache Spark或Dask等框架跨多個節(jié)點處理數(shù)據(jù)，增強對大型數(shù)據(jù)集的處理能力。
• 數(shù)據(jù)庫優(yōu)化：對頻繁查詢的字段進行索引，以提高搜索性能。

權(quán)衡：

• 速度與準確性：性能優(yōu)化可能會加快查詢執(zhí)行，但可能會影響從復雜分析中獲得的見解的深度。
• 資源利用率：增加可擴展性通常需要更多的計算資源，從而影響成本。平衡成本和性能是至關(guān)重要的。

步驟2：查詢合成

這個階段使用Text-to-SQL方法將自然語言查詢轉(zhuǎn)換為可執(zhí)行的SQL語句。

（1）自然語言處理（NLP）：

• 意圖分析：分析用戶的查詢，以確定潛在的意圖（例如，尋找適合家庭入住的酒店的信息）。
• 實體識別：識別查詢中的關(guān)鍵實體，重點關(guān)注與酒店特征相關(guān)的關(guān)鍵字。

（2）查詢映射：TAG將用戶的意圖映射到相關(guān)的數(shù)據(jù)庫表和字段。例如，如果用戶查詢家庭友好型的酒店，TAG會識別與家庭設施相關(guān)的關(guān)鍵字。

（3）SQL生成：TAG根據(jù)映射構(gòu)造SQL查詢。對于用戶查詢“兒童友好型酒店的亮點是什么？”生成的SQL可能是：

SQL

1 SELECT hotelID, reviewerName, reviewText, summary, overall
2 FROM reviews
3 WHERE reviewText LIKE '%kid-friendly%' OR reviewText ILIKE '%family%'
4 ORDER BY overall DESC;
5

這個SQL語句用于檢索提到具有家庭友好型設施的酒店，并按評分排序，使組織能夠從旅行評論數(shù)據(jù)中獲取有價值的見解。

示例查詢

為了說明TAG如何處理有關(guān)酒店功能的各種查詢，請考慮以下示例：

• 問題：兒童友好型酒店的亮點是什么？
• 問題：哪些酒店最適合養(yǎng)狗人士？

執(zhí)行查詢

在合成查詢之后，執(zhí)行查詢會產(chǎn)生有價值的結(jié)果。以下是執(zhí)行SQL查詢后輸出數(shù)據(jù)的示例：

執(zhí)行SQL查詢后輸出數(shù)據(jù)的示例：

自然語言答案生成

在檢索相關(guān)數(shù)據(jù)后，TAG使用RAG生成簡潔的摘要。以下是這一過程的工作原理：

Python

1 from langchain import OpenAI, PromptTemplate, LLMChain
2 import sqlite3
3
4 # Establish connection to the SQLite database
5 def connect_to_database(db_name)：
6    """Connect to the SQLite database."""
7    return sqlite3.connect(db_name)
8
9 # Function to execute SQL queries and return results
10 def execute_sql(query, connection)：
11    """Execute the SQL query and return fetched results."""
12    cursor = connection.cursor()
13    cursor.execute(query)
14    return cursor.fetchall()
15
16 # Define your prompt for SQL query synthesis
17 query_prompt = PromptTemplate(
18    input_variables=["user_query"],
19    template="Generate an SQL query based on the following request： {user_query}"
20 )
21
22 # Initialize the language model
23 llm = OpenAI(model="gpt-3.5-turbo")
24
25 # Create a chain for generating SQL queries
26 query_chain = LLMChain(llm=llm, prompt=query_prompt)
27
28 # Define your prompt for generating natural language answers
29 answer_prompt = PromptTemplate(
30    input_variables=["results"],
31    template="Based on the following results, summarize the highlights： {results}"
32 )
33
34 # Create a chain for generating summaries
35 answer_chain = LLMChain(llm=llm, prompt=answer_prompt)
36
37 # Function to simulate data labeling (for demonstration purposes)
38
def label_data(reviews)：
39    """Label data based on specific keywords in reviews."""
40    labeled_data = []
41    for review in reviews：
42        if "family" in review[1].lower()：
43            label = "Family-Friendly"
44        elif "dog" in review[1].lower()：
45            label = "Pet-Friendly"
46        elif "luxury" in review[1].lower()：
47            label = "Luxury"
48        else：
49            label = "General"
50        labeled_data.append((review[0], review[1], label))
51    return labeled_data
52
53 # Main process function
54 def process_user_query(user_query)：
55    """Process the user query to generate insights from travel reviews."""
56    # Connect to the database
57    connection = connect_to_database("travel_reviews.db")
58
59    # Step 1： Generate SQL query from user input
60    sql_query = query_chain.run(user_query)
61    print(f"Generated SQL Query： {sql_query}\n")
62
63    # Step 2： Execute SQL query and get results
64    results = execute_sql(sql_query, connection)
65    print(f"SQL Query Results：\n{results}\n")
66
67    # Step 3： Label the data
68    labeled_results = label_data(results)
69    print(f"Labeled Results：\n{labeled_results}\n")
70
71    # Step 4： Generate a summary using RAG
72    final_summary = answer_chain.run(labeled_results)
73    print(f"Final Summary：\n{final_summary}\n")
74
75    # Format the output as unstructured data
76    formatted_output = "\n".join([f"Reviewer： {review[0]}, Review： {review[1]}, Label： {review[2]}" for review in labeled_results])
77    print("Unstructured Output：\n")
78    print(formatted_output)
79
80    # Close the database connection
81    connection.close()
82
83 # Example user query
84 user_query = "What are the highlights of kid-friendly hotels?"
85 process_user_query(user_query)

輸出示例：

JSON

1 {"reviewSummary"： "The hotel exceeded expectations for family stays, providing clean rooms and friendly staff, making it ideal for family getaways. It is affordable, convenient, and highly recommended for families looking for a perfect experience with minor issues.", "Label"："Kid-Friendly"}
2

這種方法利用RAG從個人評論中綜合出細致入微的總結(jié)，提供清晰的概述，而不僅僅是結(jié)果的匯總。

TAG的改進

TAG通過解決傳統(tǒng)限制顯著增強了查詢過程：

• 增強的查詢合成：TAG綜合考慮了整個數(shù)據(jù)庫結(jié)構(gòu)的優(yōu)化查詢，支持更廣泛的自然語言查詢。
• 高效的數(shù)據(jù)庫執(zhí)行：TAG跨大型數(shù)據(jù)集快速執(zhí)行查詢，便于快速檢索對時間敏感的決策的基本見解。
• 改進的自然語言生成：通過利用先進的語言模型，TAG生成連貫的、場景相關(guān)的響應，簡化用戶解釋。

相較于當前方法的優(yōu)勢

• 用戶友好的交互：用戶可以用自然語言提出問題，無需具備SQL知識。
• 快速洞察：快速查詢執(zhí)行可以最大限度地減少訪問相關(guān)數(shù)據(jù)所需的時間。
• 場景理解：增強的摘要生成提高了決策者的數(shù)據(jù)可訪問性和有用性。

優(yōu)化結(jié)果的重新排序策略

為了確保高質(zhì)量的檢索結(jié)果，有效的重新排序策略可以優(yōu)化輸出。以下是一些策略：

• 基于分數(shù)的重新排序：利用分數(shù)（例如有用性、評分）來確定響應的優(yōu)先級，為可靠的審閱者分配更高的權(quán)重，以提高質(zhì)量。
• 語義相似性：使用嵌入來度量語義相似度，并根據(jù)與用戶查詢場景的相關(guān)性對結(jié)果重新排序。
• 場景重新排名：分析查詢場景（例如家庭友好型），并根據(jù)評論中出現(xiàn)的特定關(guān)鍵字進行重新排名，以提供最相關(guān)的見解。

結(jié)論

TAG和RAG在轉(zhuǎn)變客戶反饋分析方面處于領(lǐng)先地位，使企業(yè)能夠利用評論和調(diào)查中包含的豐富見解。通過自動化數(shù)據(jù)標記、查詢合成和自然語言生成，組織可以獲得可操作的見解，從而改進決策過程。

隨著這些技術(shù)的發(fā)展，潛在的應用十分廣泛，從個性化的客戶體驗到有針對性的營銷策略。采用TAG和RAG不僅可以簡化對大型數(shù)據(jù)集的分析，還可以使組織能夠在快速變化的市場環(huán)境中保持競爭力。

原文標題：Transforming Customer Feedback With Automation of Summaries and Labels Using TAG and RAG，作者：Venkata Gummadi