一、因果推斷與大模型

近年來，因果推斷成為研究的熱點(diǎn)，在眾多場景都有應(yīng)用。其在數(shù)據(jù)分析等領(lǐng)域具有非常強(qiáng)的優(yōu)勢，強(qiáng)調(diào)因果性而非將相關(guān)性作為根本出發(fā)點(diǎn)，更有助于識別偽相關(guān)信息。

在建立模型時，以因果角度為出發(fā)點(diǎn)，模型具有更好的泛化和遷移能力，適用眾多業(yè)務(wù)場景。比如優(yōu)惠券營銷提升用戶轉(zhuǎn)化，或者進(jìn)行企業(yè)宏觀指標(biāo)的因果探索分析，觀測不同指標(biāo)之間的因果關(guān)系，為企業(yè)提供運(yùn)營手段方向的決策幫助。因果效應(yīng)估計(jì)和反事實(shí)推斷為決策提供了有力支持。

因果推斷的實(shí)踐目前主要包括五方面：因果發(fā)現(xiàn)、因果量的識別、因果效應(yīng)估計(jì)、反事實(shí)推斷和策略學(xué)習(xí)。其中，因果發(fā)現(xiàn)和因果效應(yīng)估計(jì)是當(dāng)前比較主流且容易落地的應(yīng)用場景，包括 Uplift 模型也歸屬于因果效應(yīng)估計(jì)的領(lǐng)域。而反事實(shí)推斷是業(yè)界的難點(diǎn)，在缺乏反事實(shí)數(shù)據(jù)的情況下，對算法的研發(fā)和場景落地的準(zhǔn)確性都具有挑戰(zhàn)。

從去年底開始到今年初，ChatGPT 在智能能力方面取得了質(zhì)的飛躍，對于情感分類和文本摘要等任務(wù)表現(xiàn)出了驚艷的效果。那么，是否能將最新的大模型與因果推斷相結(jié)合呢？

從能力上來分析，隨著參數(shù)量和規(guī)模的增大，大語言模型涌現(xiàn)出了突出的能力。上圖中列舉了部分大模型涌現(xiàn)能力，可以助力大模型與因果推斷相結(jié)合。例如，上下文能力，大模型擁有在非常長的上下文 context 的兼容能力，有助于實(shí)現(xiàn)多輪對話和構(gòu)建更多的大型模型能力；角色扮演能力，大模型可以扮演數(shù)據(jù)分析師的角色，幫助用戶實(shí)現(xiàn)因果推斷等任務(wù)，甚至可以讓它扮演 SQL 連接終端或共享終端，用戶在里面輸入一些命令，即可得到非常真實(shí)的反饋。大模型帶來了很多想象空間和可行性空間。

此外，大模型一個非常重要的能力是工具應(yīng)用能力，包括理解 API、調(diào)用 API 以及調(diào)用搜索引擎或者生成 SQL 等等，目前這些能力已經(jīng)成為普遍公認(rèn)的大模型涌現(xiàn)能力。基于這些能力，可以將大模型的涌現(xiàn)能力與因果推斷相連接。

在實(shí)際項(xiàng)目和產(chǎn)品研發(fā)中，進(jìn)行了探索并總結(jié)出了三條線。圖中最上層包括因果發(fā)現(xiàn)、因果效應(yīng)估計(jì)和反事實(shí)推斷，可以理解成現(xiàn)實(shí)中因果推斷的常見任務(wù)。最左下角是大語言模型，通過三條線，可以把兩者相連。

最左邊一條線是通過因果圖的方式，用大模型對因果圖進(jìn)行增強(qiáng)識別。利用因果發(fā)現(xiàn)算法與大模型相結(jié)合，以獲取更精準(zhǔn)的因果圖。

第二條線則聚焦于 Agent，利用大模型的智能基礎(chǔ)及其工具使用能力，配合外部工具，綜合構(gòu)建一個智能代理，幫助用戶完成一些因果推斷任務(wù)。

第三條線是 ABM（agent base modeling）基于代理的建模，通過多個智能體之間的相互交互形成現(xiàn)實(shí)生活中的場景，即形成一個仿真生態(tài)，進(jìn)而輔助策略的研究和探索。

二、大模型助力因果發(fā)現(xiàn)

首先來看第一種連接方式，大模型助力因果發(fā)現(xiàn)。

因果發(fā)現(xiàn)的核心在于通過擬合的方法和實(shí)測數(shù)據(jù)找出數(shù)據(jù)特征之間的因果關(guān)系。因果發(fā)現(xiàn)對于某些業(yè)務(wù)場景非常適用，比如客戶流失分析，可以通過定性的方式確定客戶流失的原因及核心因素。因果發(fā)現(xiàn)算法在實(shí)際應(yīng)用當(dāng)中，常常面臨一些挑戰(zhàn)。比如不可觀測變量的數(shù)據(jù)集，這些變量可能會影響對因果關(guān)系的探索，實(shí)踐中都是在有限特征的數(shù)據(jù)下盡可能地學(xué)習(xí)真實(shí)的因果關(guān)系，以此完成因果關(guān)系的定性分析。

上圖右側(cè)給出了一個實(shí)際案例。在一個銀行 ABM 系統(tǒng)獲取的數(shù)據(jù)，形成了銀行企業(yè)宏觀月度指標(biāo)數(shù)據(jù)。通過融合多種因果發(fā)現(xiàn)算法幫助找到數(shù)據(jù)特征之間的因果關(guān)系。

再舉一個例子，假設(shè)在一次營銷活動中，業(yè)務(wù)上希望了解哪些特征會影響客戶的購物行為，例如優(yōu)惠券等。通過因果發(fā)現(xiàn)算法，可以找到特征之間的因果關(guān)系，并發(fā)現(xiàn)客戶是否購買。然而，在實(shí)踐中仍然面臨一些問題和挑戰(zhàn)：

• 未觀測因子，限于數(shù)據(jù)本身，往往需要在有限的特征下找出因果關(guān)系；
• 準(zhǔn)確率不夠高，甚至有時會出現(xiàn)不合理的因果關(guān)系；
• 經(jīng)驗(yàn)不足，當(dāng)面臨一個新的知識領(lǐng)域時，特別是不了解數(shù)據(jù)和特征的情況下，會無法理解和判斷因果關(guān)系。

如何將大模型與因果發(fā)現(xiàn)的方法相融合呢？目前正在實(shí)踐中的方法如上圖所示。從基礎(chǔ)的數(shù)據(jù)中，通過多種因果發(fā)現(xiàn)方法，得到初步的因果圖。基于此，可以依賴于大模型的涌現(xiàn)能力和外部工具，對因果圖進(jìn)行識別、甄別、解釋和推薦，從而得到更加準(zhǔn)確的因果圖。

經(jīng)過項(xiàng)目的實(shí)踐和探索，總結(jié)了四個重點(diǎn)：因果關(guān)系的識別、因果方向的識別、因果關(guān)系的解釋和因果關(guān)系的推薦，并圍繞大模型的這四點(diǎn)能力構(gòu)建了因果發(fā)現(xiàn)關(guān)系增強(qiáng)流程。在這個流程下，大模型被用來驅(qū)動各種因果推斷任務(wù)，幫助用戶獲得更精準(zhǔn)的因果圖。

對因果圖中的因果關(guān)系進(jìn)行甄別與分類，利用大模型的因果區(qū)分能力，區(qū)分出錯誤的因果關(guān)系、方向相反的因果關(guān)系、不確定的關(guān)系等，然后使用這些分類結(jié)果來進(jìn)行因果圖的針對性修正。

因果方向的識別，可以利用大模型對二元因果關(guān)系的方向進(jìn)行確認(rèn)，這種方法可以幫助用戶避免找出反向的因果關(guān)系。

因果關(guān)系解讀和推薦適用于那些面對陌生領(lǐng)域，人工識別因果關(guān)系非常困難和具有挑戰(zhàn)的情況。在這種情況下，可以采用領(lǐng)域大模型來幫助發(fā)現(xiàn)業(yè)務(wù)的合理性。

因果解讀，在實(shí)踐中進(jìn)行建模時，如果有一個目標(biāo)特征作為果特征，可以將此特征與一級或二級的因果關(guān)系提取出來，然后讓大模型給出相應(yīng)的因果解讀，對于一些剛?cè)胄小?shù)據(jù)了解程度有限和科研程度經(jīng)驗(yàn)不足的同學(xué)來說，具有非常好的幫助作用。因果關(guān)系的推薦，大模型可以基于既有經(jīng)驗(yàn)給出影響目標(biāo)變量的關(guān)鍵因果關(guān)系推薦建議，可以從因果的視角找到更核心的關(guān)鍵因素，進(jìn)一步強(qiáng)化因果發(fā)現(xiàn)算法的準(zhǔn)確性。

三、基于大模型代理的因果推斷

接下來介紹基于大模型的代理。

大模型具備很多能力，可以根據(jù)其智能能力和工具應(yīng)用能力，結(jié)合外部工具，構(gòu)建一個智能體代理，來幫助業(yè)務(wù)用戶解決問題，或者通過指令指導(dǎo)智能體代理去完成所要做的很多復(fù)雜的工作。

將因果推斷與智能體結(jié)合，構(gòu)建了一個因果推斷的智能代理，可以執(zhí)行因果推斷方向和領(lǐng)域探索的任務(wù)。其具備的能力包括：

• 角色扮演能力，大模型可以扮演因果推斷專家、數(shù)據(jù)統(tǒng)計(jì)分析師、業(yè)務(wù)分析師等角色，設(shè)定好大模型的角色、任務(wù)和目標(biāo)，幫助用戶完成某些職能。
• 記憶能力，依賴大模型本身的記憶能力和上下文能力，可以讓大模型具記憶能力。通過該能力可以實(shí)現(xiàn)多輪對話功能，幫助用戶實(shí)現(xiàn)上下文的多輪溝通以及問題的解決；也可將歷史的經(jīng)驗(yàn)進(jìn)行記憶，面臨問題的時候，基于這個經(jīng)驗(yàn)去更好、更高效地完成相應(yīng)的因果推斷任務(wù)。
• 問題解決能力，大模型具備思考和計(jì)劃能力等解決問題的關(guān)鍵能力。對于用戶提出的的問題，往往需要經(jīng)過深思熟慮，最后再給出分析與回答。因此，大模型的思考能力非常重要，包括思考能力、計(jì)劃能力、反思能力等。
• 工具應(yīng)用能力。如果一個模型只能用于本身設(shè)計(jì)的問答系統(tǒng)中，那么它的應(yīng)用能力就被限制了。得益于大模型的工具應(yīng)用能力，其能力得到了極大的拓展。大模型可以理解 API、生成代碼、進(jìn)行搜索引擎以及進(jìn)行識別和檢索。這些應(yīng)用能力極大地提高了模型的實(shí)用性和靈活性。
• Coding 能力，這是現(xiàn)在大模型應(yīng)用外部工具的主要手段。
• Action 能力，大模型對于當(dāng)前任務(wù)或會話，為業(yè)務(wù)用戶提供簡要回答、總結(jié)報告或具體操作的反饋。

舉一個具體例子，在營銷領(lǐng)域中，往往注重分析投入產(chǎn)出比例，即 ROI。可以通過智能代理詢問數(shù)據(jù)的情況以及它具有的特征含義，并獲得相應(yīng)的建議。其次，可以將 ROI 的計(jì)算交給智能代理，通過自然語言的方式進(jìn)行外部數(shù)據(jù)輸入，并進(jìn)行 ROI 計(jì)算。九章云極開發(fā)和驗(yàn)證了智能代理反事實(shí)推斷的能力，采用 Uplift 模型對未來事件進(jìn)行預(yù)測和統(tǒng)計(jì)分析。如果是嘗試面向決策，例如想舉辦一次營銷活動并預(yù)算一定的金額，可以請求智能代理推薦相應(yīng)的名單，并計(jì)算 ROI。未來，智能推斷的代理將完成各種領(lǐng)域的任務(wù)。

智能體代理嵌入因果推斷能力具有非常大的優(yōu)勢。相比以往企業(yè)級的建模流程，需要經(jīng)歷場景需求、業(yè)務(wù)部門、建模團(tuán)隊(duì)和數(shù)據(jù)團(tuán)隊(duì)之間的溝通和加工，智能體代理以更友好的自然語言交流方式輔助業(yè)務(wù)人員進(jìn)行實(shí)時的因果推斷分析和決策，具有更好的實(shí)時性和業(yè)務(wù)友好性。因此，智能體代理的操作更加方便、智能，有助于提高工作效率。

四、LLM-Powered ABM 助力因果推斷

"LLM-Powered ABM"意為通過大語言模型模仿代理(或智能體代理),是一種具有類似人類行為的可信賴的虛擬實(shí)體,能夠模擬人類的行為和決策,以便在虛擬環(huán)境中與用戶或其他代理進(jìn)行交互。這種智能體代理通常被用于模擬虛擬世界、仿真研究、自動化決策和其他應(yīng)用中，對于提升用戶體驗(yàn)、社會觀察研究等有非常大的幫助。

LLM-Powered ABM 旨在通過以大模型為基礎(chǔ)的 ABM 去助力因果推斷，ABM 的核心是基于智能體或代理的仿真環(huán)境建模。在過去的建模中，ABM 的建模方式主要依賴于規(guī)則和專家業(yè)務(wù)經(jīng)驗(yàn)，但是，現(xiàn)在有了大模型，可以將其作為智能代理的核心，模擬人類的行為和決策，并構(gòu)建一個仿真運(yùn)行的生態(tài)。ABM 有三個非常重要的優(yōu)勢：

• 虛擬助手，即它可以同時包含多個不同的智能代理，并且智能代理之間不需要滿足 ID 條件，而是形成一個良好的智能體環(huán)境。多智能體代理可以用作虛擬助手,幫助用戶解決問題、提供信息，或執(zhí)行任務(wù)，如聊天機(jī)器人、虛擬客服等。
• 推演與決策，可以用于社會科學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)和其他研究領(lǐng)域，以模擬人類行為，進(jìn)行實(shí)驗(yàn)和觀察。在 ABM 中，由于有一個完整的環(huán)境，用戶可以觀察到整個環(huán)境下不同利潤水平和購買理財(cái)產(chǎn)品等行為的變化。同時也可以進(jìn)行相應(yīng)的干預(yù)，向特定客戶單獨(dú)發(fā)送優(yōu)惠券，或給銀行一些指標(biāo)設(shè)置優(yōu)惠券，并觀察它們在未來的運(yùn)營和經(jīng)濟(jì)表現(xiàn)中的變化。
• 自動化決策和規(guī)劃，在自動化領(lǐng)域，多智能體代理可以用于自動規(guī)劃和決策。例如在公共交通領(lǐng)域中，自動駕駛汽車中的智能代理，或者供應(yīng)鏈管理中的協(xié)調(diào)代理。

選擇 LLM-Powered ABM 的出發(fā)點(diǎn)在于它能夠?yàn)橐蚬芯亢蜎Q策研究提供很多幫助。如上圖，基于大模型代理的 ABM 系統(tǒng)中包括許多不同的智能體。在智能體系統(tǒng)中，每個代理角色在不同的時間點(diǎn)會發(fā)生不同事件，系統(tǒng)會以自然語言形式產(chǎn)出多角色對話或故事。通過大模型可以對整個仿真環(huán)境產(chǎn)生的段落進(jìn)行數(shù)據(jù)的提取。

數(shù)據(jù)特性方面，ABM 環(huán)境下具有以下 3 個特點(diǎn)：

• 數(shù)據(jù)完整性，可以獲取更完整的特征，全部特征都可以被捕獲并形成數(shù)據(jù)集，這在未來可以作為因果推斷算法和決策研究的基礎(chǔ)。
• 保存因果關(guān)系，在基于大模型的 ABM 系統(tǒng)中，不僅可以記錄購買理財(cái)產(chǎn)品的行為，還可以存儲當(dāng)時客戶的決策因子。真實(shí)業(yè)務(wù)中非常追求因果關(guān)系，這個關(guān)系可以從 ABM 系統(tǒng)中抽取出來。
• 反事實(shí)數(shù)據(jù)，ABM 系統(tǒng)具有仿真實(shí)際數(shù)據(jù)的可干預(yù)性，這意味著可以不斷地干預(yù)和推演整個環(huán)境。

基于大模型的 ABM 在仿真性方面有很大的優(yōu)勢，每個代理可以作為一個智能體代理來做個性化的經(jīng)營決策。同時，可干預(yù)性也是非常重要的優(yōu)勢，這意味著可以盡可能地獲取完整的數(shù)據(jù)，包括因果數(shù)據(jù)。

在項(xiàng)目中進(jìn)行了實(shí)踐和嘗試，不僅能夠獲得決策建立的因果決策因子，還可以對決策因子進(jìn)行排序。最后，可以獲得反事實(shí)數(shù)據(jù)和時序反事實(shí)數(shù)據(jù)，相對于現(xiàn)有的相關(guān)研究，ABM 的數(shù)據(jù)范圍和視角有很大的優(yōu)勢。

相比傳統(tǒng)的數(shù)據(jù)獲取方法，使用基于大模型的 ABM 時，數(shù)據(jù)獲取有得天獨(dú)厚的優(yōu)勢。比如受到成本和其他因素的限制，通常只能獲取到真實(shí)世界全量數(shù)據(jù) Global Data 中的一個非常小的子集。在 ABM 中，可以抽取因果關(guān)系，獲取現(xiàn)實(shí)中無法觀測到的數(shù)據(jù)，包括 Global Data 和 Collectable Data 都可以使用。ABM 對于算法研究和業(yè)務(wù)推斷都有非常大助力。

舉個例子，對于因果效應(yīng)估計(jì)應(yīng)用和進(jìn)行算法研究與評估，需要考慮幾個方面，首先是確定用哪些數(shù)據(jù)來進(jìn)行訓(xùn)練，其次利用什么樣的數(shù)據(jù)來評估算法的準(zhǔn)確性，最后需要選擇評估指標(biāo)，以保證算法的可靠性。

現(xiàn)在可以獲取更多的特征，包括以前無法獲取的客戶喜好特征和家庭知識特征，都可以將它們納入模型中，因此可以使用全量特征進(jìn)行算法研究。在完整特征下進(jìn)行評估時，可以從中提取更完整的因果關(guān)系。在評估階段，我們更注重獲取反事實(shí)結(jié)果并使用不同的評估方法。除了因果常用的一些序指標(biāo)(如 AuuC 和 Gini) 和針對回歸任務(wù)的 RLoss，在 ABM 中獲取的數(shù)據(jù)下，還可以使用更常見的 Rmse 等指標(biāo)。在 ABM 下，可以將更多特征納入模型，并在獲得因果關(guān)系以及相關(guān)優(yōu)先級信息后，使用這個視角去評估得出的因果估計(jì)算法的準(zhǔn)確性。

基于大模型 ABM 獲取的數(shù)據(jù)具有廣泛的應(yīng)用和研究價值，不僅適用于因果推斷領(lǐng)域，也可以在統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、貝葉斯網(wǎng)絡(luò)、深度學(xué)習(xí)等領(lǐng)域中為我們帶來助力。

五、YLearn & Causal Lab

最后，分享兩個九章云極 DataCanvas 在因果方向開源的成果。

YLearn 因果學(xué)習(xí)軟件可以幫助用戶完成因果推斷的五個主要任務(wù)，包括因果發(fā)現(xiàn)、因果量的識別、因果效應(yīng)估計(jì)、反事實(shí)推斷和策略學(xué)習(xí)，其中也支持 Uplift 建模，用戶可以一站式完成因果推斷場景的所有任務(wù)。同時 YLearn 提供了非常簡潔的 API，大家可以輕易上手實(shí)踐并落地。

YLearn因果學(xué)習(xí)軟件 GitHub 地址：https://github.com/DataCanvasIO/YLearn。

Causal Lab，交互式因果分析框架。這個框架以 YLearn 作為基礎(chǔ)，可以幫助用戶完成因果推斷的全流程任務(wù)，包括因果發(fā)現(xiàn)，貝葉斯網(wǎng)絡(luò)學(xué)習(xí)以及因果效應(yīng)估計(jì)。其中非常有用的是，提供了可視化工具，可以幫助用戶進(jìn)行因果發(fā)現(xiàn)的交互模式。框架融合了多種算法，并支持動態(tài)的學(xué)習(xí)過程，從而找到更精準(zhǔn)的業(yè)務(wù)關(guān)系，以便于構(gòu)建更精準(zhǔn)的貝葉斯網(wǎng)絡(luò)。用戶還可以對因果關(guān)系進(jìn)行相應(yīng)的調(diào)整和修改。最后，該框架還提供了基于校驗(yàn)估計(jì)的探索。

Causal Lab GitHub 地址：https://github.com/DataCanvasIO/CausalLab。