前言

在過去的幾年里，以神經網絡為首的人工智能技術通過對不同類型數據的深入挖掘已經深刻地改變了人類的生活并極大地推動了社會發展的進程 [1]。作為人工智能領域最活躍的研究方向之一，圖神經網絡（GNNs）憑借其卓越的性能已經被廣泛應用于個性化推薦等日常生活中，在如新冠藥物研發等科學前沿領域也不乏其身影。隨著圖神經網絡技術的蓬勃發展，人們發現以任務性能為單一設計目標的圖神經網絡系統中仍存在譬如面對惡意攻擊的脆弱性等問題。因此，人們愈發渴望建立起可信的圖神經網絡。

近年來，構建可信人工智能系統已經成為了世界各國的普遍共識 [2][3]。如何全面地建立起可信圖神經網絡已經成為了一個亟待解決的重大問題。該文是由Monash團隊（Shirui Pan, Xingliang Yuan，Bang Wu, He Zhang）聯合Hanghang Tong (UIUC) 以及Jian Pei (SFU，即將入職Duke)對可信圖神經網絡的最新綜述（雙欄36頁，299篇文獻）。

該綜述從研究背景與特點出發，提出了一個可信圖神經網絡的開放框架，著重闡述了“可信GNN”的六大維度（魯棒性、可解釋性、隱私、公平性、問責、環境福祉）及其技術方法。同時，該綜述探討了不同可信維度之間的交互關系，并提出了可信圖神經網絡未來的研究方向，為建立起可信圖神經網絡描繪了一幅細致而全面的技術路線圖。

?綜述名稱：Trustworthy Graph Neural Networks: Aspects, Methods and Trends

全文鏈接：https://arxiv.org/pdf/2205.07424.pdf

Github: https://github.com/Radical3-HeZhang/Awesome-Trustworthy-GNNs 

1 緒論

圖作為一種具有極強表示能力的數據類型，通過描述實體特征和刻畫實體之間的關系，已經被廣泛應用于描述生物學、化學、物理學、語言學和社會科學等諸多領域的數據。近年來，圖神經網絡技術的蓬勃發展已經革命性地提升了各種圖計算任務的性能，并促進了其在現實生活中的廣泛應用。

在日常生活中，圖神經網絡通過考慮用戶與用戶/服務內容之間的交互關系，可以在信息流媒體、在線購物、社交軟件等消費應用中為用戶提供個性化搜索與推薦服務。在科學前沿中，通過使用圖數據來表示復雜的系統，研究者們可以使用圖神經網絡來發現天體運動背后隱藏的規律。通過將其應用于虛假新聞檢測與新冠藥物研發，圖神經網絡大大提升了我們的社會福祉。

雖然研究者們已經從很多角度（如自監督學習，提升模型深度等）設計出了進一步提升圖神經網絡性能的方法，但是在一些關鍵領域中任務性能不是設計圖神經網絡的唯一目標。例如，基于圖神經網絡的異常檢測系統需要對惡意攻擊具有魯棒性，基于圖神經網絡的信用評分系統不應該因為用戶的年齡、性別等因素拒絕其貸款申請，基于圖神經網絡的藥物發現應用應向研發人員提供其結果的全面解釋。

基于上述需求，人們愈發渴望基于圖神經網絡系統是可信的。在這樣的背景下，這篇綜述旨在總結“可信圖神經網絡（Trustworthy GNNs）”的最新進展，為相關研究人員和從業人員提供技術路線圖，并為可信圖神經網絡的未來研究與產業化發展提供方向。

這篇綜述的主要貢獻有：1）以包含諸多可信維度的開放框架描述了可信圖神經網絡，并提出了圖神經網絡與其他常見人工智能技術（如CNN）在可信研究中的典型差異；2）針對圖神經網絡的不同可信維度，對現有方法進行了綜合且全面的總結；3）提出了不同可信維度之間的關系對于構建可信圖神經網絡系統至關重要，并從方法和成效兩個層面總結了已有的研究工作；4）通過將可信圖神經網絡的概念作為一個整體，提出了未來的潛在研究方向。

2 圖神經網絡與可信

為了便于讀者理解，本文首先對以下核心概念進行介紹。

圖數據（graph data）：圖一般由節點集合和邊集合構成。該圖中節點的個數為，節點之間邊的個數為。給定圖，對應的拓撲結構可以用鄰接矩陣表示，其中表示了節點和節點之間的連接關系。即，如果節點和相互連接，則，否則。如果圖中節點具有屬性，可用一個特征矩陣來描述這些屬性信息。因此，圖也可以表示為。

圖神經網絡（GNNs）：圖神經網絡是一系列可用于圖數據上計算任務（如節點分類、鏈接預測、圖分類）的神經網絡的總稱。圖神經網絡中的一個典型運算步驟是消息傳播（message passaging）。在消息傳播的過程中，圖神經網絡通過聚合所有鄰居節點的信息來更新當前節點的表示。在與其他運算結合（如非線性激勵）的基礎上，經過多次表示更新迭代后，圖神經網絡可以計算得到相應的數據表示。

可信（trustworthiness）：可信用于形容一個系統是值得被信任的，它描述了信任發起者（the trustor）與信任接收者（the trustee）之間的信任（trust）關系。在可信圖神經網絡的上下文中，信任接收者（the trustee）是圖神經網絡系統，信任發起者（the trustor）可以是用戶，開發者，監管部門甚至整個社會。

可信圖神經網絡（Trustworthy GNNs）被定義為兼顧可信和卓越性能的圖神經網絡，這些可信維度包含但不限于圖神經網絡的魯棒性、可解釋性、隱私、公平性、責任和福祉。原文定義如下：“In this survey, we define trustworthy GNNs as competent GNNs that incorporate core aspects of trustworthiness, including robustness, explainability, privacy, fairness, accountability, well-being, and other trust-oriented characteristics in the context of GNNs.”

3 綜述框架

該綜述在第一章主要介紹了研究背景、可信圖神經網絡的定義、不同可信維度的定義、度量和研究差異、與已有綜述的關系及其主要貢獻。在第二章，它介紹了圖神經網絡的基本概念和計算任務。在第三至八章，它分別從魯棒性（robustness）、可解釋性（explainability）、隱私（privacy）、公平性（fairness）、問責（accountability）、環境福祉（environmental well-being）這六個方面介紹、總結了典型的技術方法并討論了未來的研究方向。在第九章，這篇綜述從方法和成效兩個層面，總結了上述六個可信維度之間的復雜關系。最后，綜述的第十章將可信圖神經網絡看成一個整體，為全面構建可信圖神經網絡系統提出了未來研究與產業化的五個方向。

4 魯棒性（Robustness）

魯棒性是指圖神經網絡面臨干擾時保持穩定預測結果的能力。圖神經網絡的預測結果可以被多種擾動（尤其是各類針對圖神經網絡的攻擊）所影響。這給圖神經網絡在這給圖神經網絡在銀行金融系統的欺詐偵測、自動駕駛系統的交通預測及規劃等涉及人身財產安全的場景中的應用帶來了較為嚴峻的挑戰。因此，針對魯棒性的研究是可信圖神經網絡中不可或缺的關鍵環節。

該綜述總結了目前圖神經網絡魯棒性研究的相關工作，并分別介紹了對抗攻擊、防御的分類和一些典型方法。其中，對抗攻擊的分類源自對攻擊威脅模型（threat model）的分析，如下圖所示；對防御的分類則更多基于該技術的具體執行階段（target phase）。

在介紹不同類別的方法時，作者對這些方法的特點與用于其他常見的人工技術（如CNN）的方法的差異進行了討論。例如，具體擾動操作類型（perturbation operations）和攻擊者目的（attack goals）的不同分類和名稱變化。

此外，作者還對這些攻擊、防御方法的適用性進行了討論和總結。例如，對不同類型的防御方法，作者從應用階段（stage of application）、模塊化（modularity）、部署的兼容性（deployment compatibility）三個角度進行了比較和分析。

最后，該綜述根據目前現狀提出了未來的兩個研究方向，分別是制定標準化的魯棒性評估方法（robustness evaluations）和提高現有防御方法的可擴展性（defence scalability）。

5 可解釋性（Explainability）

可解釋性是指使圖神經網絡的預測結果可以被人理解的能力。如果其預測結果不能夠被人所理解，那么人們就不會信任圖神經網絡。信任的缺失會進一步限制其在涉及公平（如信用風險預測）、信息安全（如芯片設計）、生命安全（如自動駕駛）的場景中的應用。因此，可信的圖神經網絡系統需要對其預測結果做出解釋。

在介紹了解釋形式、解釋方法的類別等基本概念后，該綜述將涉及圖神經網絡可解釋性的工作分成了自解釋（interpretable GNNs）和事后解釋（post-hoc explainers）兩類。自解釋（Interpretable GNNs）主要包含了貢獻估計（contribution estimation）、引入可解釋模塊（ introduction of interpretable module）、嵌入空間原型學習（embedding prototype learning） 和依據生成方法（rationale generation methods）。事后解釋（post-hoc explainers）主要包含了基于梯度/特征的方法（gradient/feature-based methods）、基于擾動的方法（perturbation-based methods）、代理模型方法（surrogate methods）、分解方法（decomposition methods）、生成方法（generation methods）和其他方法（other methods）。

該綜述在介紹了典型方法的原理后，對這些方法進行了全面的比較，如下表所示：

此外，該綜述從自解釋與事后解釋（interpretability and explainability）、提供解釋時所需的背景知識（white/grey/black-box knowledge）、獲得解釋的推理原理（reasoning rationale）、其他局限性（other limitations）這四個方面對當前的工作進行了總結。最后，該綜述提出建立嚴格的模型不可知的解釋方法（strictly model-agnostic methods）和用于真實應用的評估基準（evaluation benchmark for real applications）是圖神經網絡的可解釋性未來研究的兩個方向。

6 隱私（Privacy）

隱私也是構建可信圖神經網絡時不可忽略的可信維度。在構建和維護可信圖神經網絡系統的過程中，模型本身或者圖數據等敏感、隱私的信息都面臨被泄漏的風險。因此，該綜述首先對當前隱私數據泄漏相關的研究進行了總結，然后介紹了多種隱私保護方法。

針對隱私泄露問題，該綜述從當前隱私攻擊的威脅模型入手，首先介紹了潛在威脅的目標和能力，然后介紹了模型提取（model extraction attack）、成員推斷（membership inference attack）、模型逆向（model inversion attack）這三個常見的隱私攻擊和其他場景中存在的隱私泄露隱患。

隨后，該綜述介紹了在圖神經網絡場景下的聯邦學習（federated learning）、差分隱私（differential privacy）、脫敏訓練（insusceptible training）、安全計算（security computation）這四種隱私保護技術。此外，作者在對上述技術進行了分類介紹后，還對它們的具體應用場景和隱私保護結束所帶來的隱私保護、模型精度、實行效率之間的權衡問題進行了討論。

在章節末尾，針對當前研究的現狀，作者認為目前對梯度信息導致的泄漏（leakage from gradient）隱患、隱私攻擊的防御手段（defence against privacy attacks）的研究仍綆短汲深，未來還需要進一步地關注和探索。

7 公平性（Fairness）

通過保護弱勢群體或者個人的關鍵利益，公平的系統可以贏得人們的信任。公平的圖神經網絡系統意味著其預測結果中排除了對于某些群體或者個人的偏見。當前，圖神經網絡主要以數據驅動的方式來完成圖計算任務。然而，圖神經網絡中的消息傳播機制可能會進一步放大已經存在于數據中的偏見。此后，由于個人喜好或者行為偏差等因素，人們在與圖神經網絡服務交互的過程中將進一步加深圖數據中的偏見。

在介紹了公平性定義（group fairness，individual fairness, counterfactual fairness)、使用階段（pre-processing, in-processing, post-processing）等基本概念后，該綜述將當前的用于圖神經網絡公平性研究的方法分成了公平表示學習方法（fair representation learning methods）和公平預測增強方法（fair prediction enhancement methods）。在介紹完這些方法的基本原理后，對這些方法進行了全面的比較，如下表所示。

最后，該綜述提出探討公平性的定義與評估（fairness definition and evaluation）、對任務性能的影響（influence on task performance）、解釋不公平的來源（revealing unfairness）是未來圖神經網絡公平性研究中需要重點關注的研究方向。

8 問責（Accountability）

隨著愈加廣泛的應用場景和復雜的系統結構的出現，個人、企業和政府機構都對可信圖神經網絡中的有效問責提出了更高的要求。近年來，中、美、歐的企業和政府機構關于如何構建人工智能的問責框架提出了各自的規劃和指導意見。該綜述基于上述內容，歸納了對圖神經網絡問責框架的三個要求：

(1) 應當設計合理的評估和認證機制（assessment and certification processes），并使其伴隨整個圖神經網絡系統的開發和運行周期；

(2) 應當保證開發和運行過程的可審計性（assurance of auditability）；

(3) 應當建立足夠的協調和反饋機制，以方便人類對系統實施干預（adjusting）、補救（remediating）等措施，并可以對不當行為進行懲罰（punishing）。

隨后，該綜述介紹了當前可用于構建可信圖神經網絡系統中問責框架的兩大類工作：基準化分析（benchmarking）和安全性評估（security evaluation）。

該綜述根據圖神經網絡不同的開發階段—模型設計（architecture design）、模型訓練（model training）、模型驗證（model validation）—對基準化分析的研究進行了介紹。對于安全性評估，作者主要介紹了驗證系統完整性（integrity verification）的相關研究，并根據驗證對象的不同分別介紹了數據完整性（data integrity）、程序完整性（procedure integrity）的驗證。

最后，該綜述為可信圖神經網絡的問責提出了三個研究方向。第一，提供針對更多不同性質逾矩行為的檢測（violation detection）；第二，覆蓋全過程的程序完整性檢測和全部件的數據完整性檢測；第三，繼續提高系統的可審計性和建立更多的協調反饋機制。

9 環境福祉（Environmental well-being）

可信圖神經網絡應當符合其部署環境的社會價值觀。當前，全球變暖是人類社會亟需解決的重大環境問題，實現碳中和的雄偉目標需要各行各業的共同努力。為了降低圖神經網絡系統的環境影響，在介紹了節點數每焦耳等相關的度量后，該綜述總結了提升圖神經網絡效率的多種方法。

(1) 可擴展的圖神經網絡和高效的數據通信：隨著圖數據的爆炸性增長，大規模數據集對于圖神經網絡的高效運行提出了挑戰。為了應對這一挑戰，當前的技術主要包含了采樣方法（sampling method）、可拓展架構（scalable architectures）、產業應用（industrial applications）、高效數據通信（efficient data communication）等。

(2) 模型壓縮技術：隨著技術的發展，研究人員提出了更深和更復雜的圖神經網絡模型來提升其性能。然而，這些模型的規模限制了其在只具備有限計算資源的邊緣計算設備上的部署。因此，模型壓縮技術是解決這一挑戰的一個有效方法。相關的技術包含了知識蒸餾（knowledge distillation）、模型剪枝（model pruning）、減少參數規模（reducing parameter size）、模型量化（model quantisation）等。

(3) 開發框架與加速器：圖數據的不規則性、模型中稀疏與稠密計算的相互交替、模型與應用的多樣性等特點使得圖神經網絡系統需要使用專門設計的框架與加速器來提升其效率。為了解決這一問題，當前的方法主要有軟件框架（SW frameworks）、硬件加速器（HW accelerators）、效率瓶頸分析（analysing the efficiency bottleneck）、軟硬件協同設計（SW-HW co-design）等。

最后，該綜述提出探索高效的圖神經網絡（exploration of efficient GNNs）和研究用于圖神經網絡的加速器（accelerators for GNNs）是未來促進圖神經網絡環境福祉的兩個研究方向。

10 不同可信方面之間的關系

當前促進圖神經網絡可信性的研究主要集中在上述六個維度中的一個，該綜述提出構建可信圖神經網絡不能忽視上述六個可信維度之間的關系，并從如下兩個角度對此進行了總結：

1） 來自可信圖神經網絡中一個維度的方法如何被用于解決其他維度的研究問題（how the methods from one aspect of trustworthy GNNs are adapted to address objectives in other aspects）。

2） 為什么促進可信圖神經網絡的一個維度可能會促進或者抑制其他可信維度（why advancing one aspect of trustworthy GNNs can promote or inhibit other aspects）。

11 未來的研究方向

針對潛在的研究熱點，該綜述將可信圖神經網絡看作一個整體并分析了當前方法的局限性。為了填補當前的研究空白，推動可信圖神經網絡的產業化，該綜述提出了如下五個研究方向：

A. 擁抱可信設計理念（shift to trustworthy GNNs）

構建可信的圖神經網絡需要研究人員與圖神經網絡從業人員全面擁抱可信理念，在設計圖神經網絡時不僅要考慮其任務性能，更需要將可信的理念引入到圖神經網絡的設計哲學中。已有的一些工作在設計中兼顧了可解釋性和公平性，這大大提升了圖神經網絡的可信性。此外，解決在轉向可信圖神經網絡的過程中面臨的一系列開放性問題，如在具體應用中對不同可信維度（如自動駕駛中的魯棒性和環境福祉）進行平衡和取舍，也是一個具有挑戰性的研究方向。

B. 探索其他可信維度（other aspects of trustworthy GNNs）

可信圖神經網絡所包含的內容實際上超過了該綜述介紹的六個維度。例如，泛化能力（generalisation）也被認為是可信系統的一個重要維度。當前一些研究探究了圖神經網絡外推（extrapolation）與其使用的激活函數之間的關系，這些工作豐富了可信的內涵并促進了可信圖神經網絡的構建。此外，該綜述提出，妥善處理可信系統相關的設計原則（如國家新一代人工智能治理專業委員會發布的《新一代人工智能治理原則——發展負責任的人工智能》）也是可信圖神經網絡在未來發展中的重要研究內容。

C. 研究多樣相互關系（diversified relations）

該綜述只涉及了可信圖神經網絡不同維度之間復雜關系的一部分。探索其他相互關系（如可解釋性和公平性）對于全面理解和構建可信圖神經網絡系統至關重要。此外，這些關系不僅復雜而且存在于多個層面。比如，反事實公平（counterfactual fairness）與魯棒性（robustness）在概念上具有相似性。因此，從概念、方法、成效等不同的層次探討可信圖神經網絡的不同維度之間的相互關系也是一個有前景的研究方向。

D. 設計模型不可知方法（model-agnostic methods）

當前，很多提升圖神經網絡可信性的方法需要使用專門設計的圖神經網絡架構。如果不能訪問或者修改目標網絡架構（如使用云服務），這些方法將無法使用。這大大降低了這些可信性增強方法在現實場景中的實用性。相比之下，模型不可知方法能夠以即插即用的方式靈活地被應用到圖神經網絡系統中。此外，這類方法也能夠以功能模塊的形式被組合使用。因此，設計模型不可知的方法將大大提升其實用性并促進可信圖神經網絡的構建。

E. 建立可信技術生態（technology ecosystem for trustworthy GNNs）

作為一個蓬勃發展的領域，可信圖神經網絡的發展離不開技術生態的支持。這里的技術生態包含但不限于工具包（tools）、數據集（datasets）、評估度量（metrics）、評估流程（pipelines）。由于圖數據的自身特性，當前的一些工具包（tools）如IBM的AI360可能無法直接用于圖神經網絡的評估。例如，節點之間邊的存在打破了節點上的獨立同分布（IID）假設，這就導致研究圖神經網絡公平性時需要考慮節點之間的相互依賴。此外，由于應用場景的多樣性，構建可信圖神經網絡也需要適用于不同任務和場景的數據集、度量、評估標準、軟件平臺等配套技術設施。因此，建立相應的技術生態是可信圖神經網絡的研究和產業化中的關鍵一步。?