信息抽取哪家強？ChatGLM3、Qwen、Baichuan2、ChatGPT
信息抽取中文開源大模型評測
信息提取（IE）在自然語言處理（NLP）中扮演著至關重要的角色，它通過從非結構化文本中提取結構化信息，從而促進與依賴結構化數據的各種現實世界應用的無縫集成。深入探討了主流中文開源LLMs在處理IE任務時的表現，特別是零樣本條件下，即模型未針對特定任務進行微調。
模型選擇：共選擇了5個大型語言模型（LLMs）進行實驗：ChatGLM3-6B、Qwen-7BChat和Qwen-14B-Chat、Baichuan2-13B-Chat以及ChatGPT2。除了ChatGPT外，所有其他大型語言模型都是開源的。
實驗設置：所有的實驗都可以在1個A40 GPU上完成。
數據集：
NER實驗結果：
在MSRA和微博數據集上進行的零樣本實驗的結果。加粗的值代表了在相同數據集上所有大型語言模型（LLMs）和開源大型語言模型中最高的分數。
- 在所有大型語言模型中，ChatGPT-3.5-Turbo表現最佳，在所有數據集和方法中實現了最高的F1分數。在所有開源大型語言模型中，Qwen-14B-Chat在MSRA數據集上取得了最高的F1分數，而Baichuan-13B-Chat在微博數據集上記錄了最高的F1分數。
- 在所有開源大型語言模型中，具有13B/14B參數的LLM一致性地在相同方法和數據集的準確性上超過了具有6B/7B參數的LLM。除了Baichuan13B-Chat在微博數據集上使用2-Stage方法得到的F1分數比Qwen-7B-Chat低0.55之外，所有具有13B/14B參數的模型在相同方法和數據集上都展示了比具有6B/7B參數的模型更好的F1分數。背后的可能原因是更大的LLM可能包含更多與實體識別相關的知識，從而帶來更準確的分類結果。
- 在模型保持不變的情況下，MSRA數據集上的F1分數高于微博數據集。這種差異可以歸因于幾個因素。首先，兩個數據集的固有難度水平不同。其次，MSRA數據集的來源是報紙媒體，包含書面語言，而微博數據集來源于社交媒體，更加口語化。在這些因素中，模型的內在知識與書面語言更為一致，使其更擅長從書面文本中提取信息。
RE實驗結果：
零樣本關系抽取在DuIE2.0數據集的20000個子集上的實驗結果（%）。對于每個大型語言模型（LLM），我們用加粗標記更好的結果，以比較兩個框架。
- 大多數大型語言模型（LLMs）在使用類型約束時表現良好，但沒有類型約束時性能顯著下降。沒有類型約束時，每個LLM需要從50種關系類型中選擇一個，而約束可以減少LLMs的大量干擾信息。值得注意的是，在某些實體對上，只保留了唯一正確的關系和NoTA（無上述關系）關系。
- 在傳統的Vanilla框架上的性能優于QA4RE框架。一方面，DuIE2.0數據集的關系抽取（RE）任務對LLMs來說可能并不十分困難，而引入問答（QA）增加了理解的難度。另一方面，在無約束實驗中，向提示中添加了許多不合理的選項（例如，Alice是Bob的出版商）。這些信息干擾了LLMs對關系類型的選擇。
?
EE實驗結果：
零樣本事件抽取（EE）實驗的結果。加粗的值代表了所有大型語言模型（LLMs）中的最高分數。
考慮到EE任務對模型閱讀理解能力的更高要求，只有兩階段分解方法能夠產生更清晰的回答。ChatGPT繼續在所有LLMs中以最高的F1分數領先，這在很大程度上歸功于其在提示中把握復雜輸出格式要求的卓越能力。在開源模型中，Baichuan2-13B-Chat展示了最佳性能；然而，其F1分數仍然比ChatGPT低31.22分。
NER、EE、RE的Prompt模板
https://arxiv.org/pdf/2406.02079
Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks兼看開源IE大模型：YAYI-UIE
雅意信息抽取統一大模型 (YAYI-UIE)在百萬級人工構造的高質量信息抽取數據上進行指令微調，統一訓練信息抽取任務包括命名實體識別（NER），關系抽取（RE）和事件抽取（EE），實現通用、安全、金融、生物、醫療、商業、個人、車輛、電影、工業、餐廳、科學等場景下結構化抽取。
訓練數據，百萬級語料中文54%，英文46%；其中數據集包括12個領域包括金融，社會，生物，商業，工業制造，化學，車輛，科學，疾病醫療，個人生活，安全和通用。覆蓋數百個場景
指令樣例/Sample Prompts
實體抽取任務/NER task
文本：xx
【實體抽取】抽取文本中可能存在的實體，并以json{人物/機構/地點：[實體]}格式輸出。
Text:
From the given text, extract all the entities and types. Please format the answer in json {person/organization/location：[entities]}.關系抽取任務/RE tasks
文本：xx
【關系抽取】已知關系列表是[注資,擁有,糾紛,自己,增持,重組,買資,簽約,持股,交易]。根據關系列表抽取關系三元組，按照json[{'relation':'', 'head':'', 'tail':''}, ]的格式輸出。
Text:
From the given text, extract the possible head entities (subjects) and tail entities (objects) and give the corresponding relation triples.The relations are [country of administrative divisions,place of birth,location contains]. Output the result in json[{'relation':'', 'head':'', 'tail':''}, ].事件抽取任務/EE tasks
文本：xx
已知論元角色列表是[質押方,披露時間,質權方,質押物,質押股票/股份數量,事件時間,質押物所屬公司,質押物占總股比,質押物占持股比]，請根據論元角色列表從給定的輸入中抽取可能的論元，以json{角色:論元,}格式輸出。
Text:
Given the text and the role list [seller, place, beneficiary, buyer], identify event arguments and roles, provide your answer in the format of json{role:name}.
github：https://github.com/wenge-research/YAYI-UIE
模型：https://huggingface.co/wenge-research/yayi-uie
數據集：https://huggingface.co/datasets/wenge-research/yayi_uie_sft_dat本文轉載自??PaperAgent??
