作者：álvaro Martínez-Sánchez, Gonzalo Arranz & Adrián Lozano-Durán

編譯：王慶法

麻省理工學院航空航天系學者11月1日在Nature上發表了一篇因果關系的研究文章【文獻1】，很有啟發性，特此編譯介紹。

摘要

因果性是科學探究的核心，作為理解物理系統中變量相互作用的基本依據，即對原因的操控會導致結果的變化。

當前的因果推斷方法面臨著顯著的挑戰：包括非線性依賴性、隨機交互、自因果作用、匯聚效應以及外部因素的影響等。

本文提出SURD（協同-獨特-冗余的因果分解），通過冗余、獨特和協同信息的增量來量化因果性，基于過去的觀察獲得對未來事件的理解。

該方法具有非侵入性，適用于計算和實驗研究，即使樣本稀缺時也可用。

在因果推斷具有顯著挑戰的場景中，SURD展示出在因果性量化方面比以往方法更高的可靠性。

綜述

因果推斷有潛力推動多個科學和工程領域的進步，如氣候研究、神經科學、經濟學、流行病學、社會科學以及流體動力學等。

因果關系必須與關聯和相關性這兩個概念區分開：關聯表示兩個變量之間的統計關系，即比隨機情況下更頻繁地共同出現。

關聯并不一定意味著因果，可能源于共同的原因、統計上的巧合或混雜因素的影響。相關性是特殊的關聯，度量變量的單調強度和方向。

相關性意味著關聯，但不意味著因果；因果關系意味著關聯，但不意味著相關性。區分因果性、關聯和相關性是一個重大挑戰。

因果關系的三個基本構建塊是：中介變量、混雜變量和匯聚變量。這些相互作用可以相互交織并存，形成更復雜的因果網絡。

考慮三個事件，記為A、B和C：

中介變量（A → B → C）出現在變量A到變量C的因果鏈中，變量B充當橋梁或中介。中介變量幫助解釋獨立變量如何影響因變量的潛在機制。

混雜變量（A ← B → C）充當兩個變量的共同原因：B → A和B → C。A和C可能通過混雜變量產生統計關聯。

匯聚變量（A → B ← C）表示多個因素共同作用于同一個變量：A → B和C → B。大多數變量由于耦合而受到多個原因的影響。

尋找能準確識別中介、混雜和匯聚效應的因果性數學定義仍然是一個活躍的研究領域。

傳統方法

因果性的最直觀的定義之一依賴于干預的概念：將A修改后觀察B中干預后的結果。具有侵入性（修改系統）且成本高昂（重復實驗或模擬）。

數據驅動的觀察法，如格蘭杰因果關系（GC）通過評估自回歸模型中引入B變量如何減少A的預測誤差來測度從B到A的因果關系。

無模型的因果發現方法，如收斂交叉映射（CCM）及其變體，運用Takens嵌入定理來建立變量與系統吸引子之間的聯系。

執行條件獨立性檢驗，如Peter-Clark算法推廣，包括瞬時條件獨立性檢驗（PCMCI）最優識別目標變量父節點的簡化條件集。

信息論方法

信息論將信息視為物理系統的基本屬性，與物理定律的約束和可能性密切相關，也為無?模型的因果量化提供了框架。

因果性基于信息與時間箭頭之間的緊密聯系。系統在宏觀層面上存在的時間不對稱性可以通過基于香農熵的信息論指標來衡量事件的因果關系。

轉移熵（TE）通過了解另一個變量的過去狀態來衡量對一個變量未來狀態的熵減。條件轉移熵（CTE），則是條件GC的非線性、非參數擴展。

其他基于信息論的方法來源于動力系統理論，將因果性量化為由控制方程決定的信息從一個過程流向另一個過程的量。

SURD

當前方法在存在非線性依賴、隨機交互（即噪聲）、自因果作用、中介、混雜和匯聚效應等情況下仍面臨局限。

也無法將因果相互作用分類為冗余、獨特和協同，而這對于識別系統中的基本關系至關重要。

SURD：協同-獨特-冗余的因果分解，通過冗余、獨特和協同貢獻來量化因果性，并提供一個衡量隱藏變量因果性的指標。

理論

向量表示N個時間相關變量的集合，Q的各個分量為可觀測隨機變量。

目標是量化Q的分量對目標變量Q_j未來值的因果性，用Q_j⁺=Q_j(t+ΔT)表示，其中ΔT>0表示任意時間增量。向量Q可以包含不超過t+ΔT時刻的變量，能夠識別滯后和瞬時依賴關系。

SURD 將因果性量化為通過觀察Q的個別分量或分量組對Q_j⁺所獲得的信息增量（ΔI），Q_j⁺中的信息通過其香農熵H(Q_j⁺)測量。

香農熵可度量不確定性，高熵在其狀態被確定時可提供最多的信息。相反，當過程完全確定時，不確定性為零，結果不含額外信息。

利用信息向未來傳播的原則（信息僅向未來流動），H(Q_j⁺)可以分解為來自過去和現在的所有因果貢獻之和：

 （方程1）

其中分別表示來自觀測變量到Q_j⁺的冗余、獨特和協同因果性，而則表示來自未觀測變量的因果性，稱為因果泄漏。

 （圖1）

獨特因果性與Q的個別分量相關，而冗余和協同因果性則來自Q中多個變量的組合。集合C包含涉及多個變量的所有組合。

分量

從到 Q_j⁺的冗余因果性（記為）是所有Q_i組件所共享的共同因果性，其中 Q_i是 Q的一個子集。

Q_i中的所有變量對Q_j⁺包含相同量的信息時，會發生冗余因果性。Q_i的任何一個組分都能對 Q_j⁺的結果提供相同的見解。

從Q_i到Q_j⁺的獨特因果性（記為）是僅由Q_i提供的因果性，無法通過任何其他獨立變量Qk≠Q_i獲得。

觀察Q_i，相較于觀察任何其他變量，可以獲得關于Q_j⁺的某些結果的更多信息，會發生此類因果性。

從到Q_j⁺的協同因果性（記為）是由Q_i中各變量的聯合效應產生的因果性。

當同時觀察一組變量比單獨觀察每單個變量能獲得更多關于Q_j⁺的信息時，即產生該因果性。

因果泄漏表示來自未觀測變量的影響，這些變量會影響Q_j⁺但沒有包含在Q中。

用來表示在綜合考慮所有可觀測變量后，為明確確定Q_j的未來所需的但缺失的信息量。

結果

SURD 展現了若干關鍵特性，有助于通過避免因果性的重復來準確識別相互作用。

方程(1)中的各項均為非負值，并且冗余、獨特和協同因果性的總和等于Q_j⁺與Q之間共享的信息，即互信息I(Q_j⁺;Q)。

單個變量Q_i與Q_j⁺之間的互信息（記為I(Q_j⁺;Q_i)）由涉及Q_i的獨特和冗余因果性之和表示。

此條件符合因果性來自單一變量至Q_j⁺時僅包含獨特和冗余因果性的概念，而協同因果性則源于兩個或多個變量的聯合效應。

SURD 的信息論公式也非常適合捕捉非線性依賴關系、確定性和隨機交互作用，以及自因果性。

方程(1)中的信息正向傳播為 SURD 內因果性的歸一化奠定了基礎。對Q_j⁺的獨特、冗余和協同因果性通過I(Q_j⁺;Q)進行歸一化，使它們的和等于1。

同樣，因果泄漏通過H(Q_j⁺)進行歸一化，其值在0到1之間：0 表示Q_j⁺的所有因果性均由Q解釋，1 表示Q未解釋任何因果性。

驗證

我們在多個因果推斷面臨重大挑戰的場景中驗證了 SURD。

場景包括具有中介、混雜和協同匯聚效應的系統、Lotka-Volterra 捕食-獵物模型、三種相互作用物種系統、莫蘭效應模型、湍流能量級聯、湍流邊界層的實驗數據、由 Sugihara 等人提出的具有時間滯后依賴關系的確定性和隨機系統、邏輯門、邏輯映射的同步以及耦合的 R?ssler-Lorenz 系統。

中介變量

系統Q3→Q2→Q1，其中Q3通過中介變量Q2對Q1產生影響。下圖顯示了變量之間關系的示意圖，以及通過 SURD 和其他因果分析方法得出的結果。

混雜變量

系統中Q3作為Q1 和Q2 的混雜變量，即Q1←Q3→Q2。下圖混雜效應的存在在 SURD 中通過協同因果關系來體現，同時發現Q3 的自引因果性。

這突顯了 SURD 的另一個優勢：因果關系的相對重要性更容易理解，因為它們的歸一化值之和總是等于1。

匯聚-協同變量

系統→Q1，其中 和 Q3 共同作用以影響Q1。下圖中展示SURD 能夠通過協同因果關系檢測出Q2和Q3對Q1的主導協同效應，同時還檢測到了自引因果性。

匯聚-冗余變量

基本的交互關系Q2≡Q3→Q1，其中Q3與Q2相同。Q2和Q3對Q1的未來結果有相等的影響。

SURD 識別出與Q2和Q3相關的主要因果關系。Q2 和Q3擁有相同的因果關系（和因果泄漏）表明它們表示相同的變量。

湍流中能量級聯的應用

SURD 還可用來研究湍流中能量級聯的因果關系：這是一個混沌、多尺度、高維系統的典型例子。

能量級聯指的是動能在流動中從大尺度向小尺度（正向級聯）或從小尺度向大尺度（逆向級聯）的傳遞。

理解跨尺度的能量傳遞動力學仍然是一個尚未解決的難題。

SURD識別了能量傳遞之間的因果關系。主要貢獻來自冗余和獨特因果關系，而協同因果關系的作用較小。

獨特因果關系（用紅色表示）清晰地捕捉到了從大尺度向小尺度的因果能量級聯，推導自非零項。

有趣的是，未觀察到從小尺度向大尺度的獨特因果關系，逆向級聯的任何因果關系僅通過冗余關系產生。

討論

SURD的特性可以歸納為：

適合分析涉及中介、混雜和協同效應的因果網絡，這些是變量之間因果交互的基本構建塊。

捕捉這些基本交互方面的成功源于區分冗余、獨特和協同因果關系的能力，而這一點在以前的方法中缺乏。

確保了所有項的非負性，從而顯著增強了可解釋性，使得能夠清晰地區分變量之間的冗余、獨特和協同因果關系。

引入因果泄漏的概念，量化了由于未觀察變量而未被考慮的因果關系的程度。

基于轉移概率分布，這確保了對變量的平移、縮放和其他一般可逆變換的變換不變性。

總而言之，SURD在因果推斷領域中是一種有效工具，有潛力在氣候研究、神經科學、經濟學、流行病學、社會科學和流體動力學等多個科學和工程領域推動進展。

文獻1：Decomposing causality into its synergistic, unique, and redundant components https://www.nature.com/articles/s41467-024-53373-4

本文轉載自?????清熙??，作者：ALvaro