GNN如何建模時空信息？倫敦瑪麗女王大學「時空圖神經網絡」綜述，簡明闡述時空圖神經網絡方法
?這些強大的算法在過去幾年中獲得了巨大的興趣。然而，這種性能是基于靜態圖結構假設的，這限制了圖神經網絡在數據隨時間變化時的性能。時序圖神經網絡是考慮時間因素的圖神經網絡的擴展。
近年來，各種時序圖神經網絡算法被提出，并在多個時間相關應用中取得了優于其他深度學習算法的性能。本綜述討論了與時空圖神經網絡相關的有趣主題，包括算法、應用和開放挑戰。
論文地址：https://arxiv.org/abs/2301.10569
1. 引言
圖神經網絡(GNN)是一類深度學習模型，專門設計用于處理圖結構數據。這些模型利用圖拓撲來學習圖的節點和邊的有意義表示。圖神經網絡是傳統卷積神經網絡的擴展，在圖分類、節點分類和鏈接預測等任務中被證明是有效的。GNNs的關鍵優勢之一是，即使在基礎圖的規模增長時，它們也能保持良好的性能，這是因為可學習參數的數量獨立于圖中節點的數量。圖神經網絡(GNN)已被廣泛應用于各種領域，如推薦系統、藥物發現和生物學以及自治系統中的資源分配。然而，這些模型僅限于靜態圖數據，其中圖結構是固定的。近年來，時變圖數據引起了人們越來越多的關注，它出現在各種系統中并攜帶有價值的時間信息。時變圖數據的應用包括多元時間序列數據、社交網絡、視聽系統等。
為了滿足這一需求，出現了一種新的GNN族:時空GNN，通過學習圖結構的時間表示，同時考慮了數據的空間和時間維度。本文對最先進的時空圖神經網絡進行了全面的回顧。本文首先簡要概述不同類型的時空圖神經網絡及其基本假設。更詳細地研究了時空GNN中使用的特定算法，同時也為這些模型的分組提供了有用的分類法。本文還概述了時空GNN的各種應用，強調了這些模型已被用于取得最先進結果的關鍵領域。最后，討論了該領域面臨的挑戰和未來的研究方向。總之，本綜述旨在對時空圖神經網絡進行全面和深入的研究，強調該領域的現狀、仍然需要解決的關鍵挑戰，以及這些模型令人興奮的未來可能性。
2. 算法
時空圖神經網絡從算法角度可分為基于譜的和基于空間的兩類。另一個分類類別是引入時變的方法:另一個機器學習算法或在圖結構中定義時間。
2.1 混合時空圖神經網絡
混合時空圖神經網絡由兩個主要組件組成:空間組件和時間組件。在混合時空圖神經網絡中，利用圖神經網絡算法對數據中的空間依賴關系進行建模。
2.2 Solo-Graph神經網絡
在時空圖神經網絡中建模時間的另一種方法是在GNN本身中定義時間框架。提出了多種方法，包括:將時間定義為邊，將時間作為信號輸入到GNN，將時間建模為子圖，以及將其他機器學習架構夾在GNN中(圖2)。
3. 應用
3.1 多變量時間序列預測
受圖神經網絡處理關系依賴[10]能力的啟發，時空圖神經網絡被廣泛應用于多變量時間序列預測。應用包括流量預測，Covid預測，光伏電力消耗，RSU通信和地震應用。
3.2人物交互
在機器學習和計算機視覺中，時空域學習仍然是一個非常具有挑戰性的問題。主要的挑戰是如何在大的時空上下文[18]中建模對象和更高層次的概念之間的交互。在這樣一個困難的學習任務中，有效地對空間關系、局部外觀以及隨著時間發生的復雜交互和變化進行建模是至關重要的。[18]引入了一種時空圖神經網絡模型，在空間和時間上循環，適合捕捉不斷變化的世界場景[18]中不同實體和物體的局部外觀和復雜的高層交互。
3.3 動態圖表示
時序圖表示學習一直被認為是圖機器學習中一個非常重要的方面[15,31]。針對現有方法依賴時序圖的離散快照而不能捕獲強大表示的局限性，[3]提出了一種基于時空圖神經網絡的動態圖表示學習方法。此外，[15]如今使用時空GNN動態表示腦圖。多目標跟蹤視頻中的多目標跟蹤嚴重依賴于對目標之間的時空交互進行建模[16]。[16]提出了一種時空圖神經網絡算法，對對象之間的空間和時間交互進行建模。
3.4 手語翻譯
手語采用視覺-手動方式來傳達含義，是聾人和重聽群體的主要交流工具。為了縮小口語用戶和手語用戶之間的交流鴻溝，機器學習技術被引入其中。傳統上，神經機器翻譯被廣泛采用，但需要更先進的方法來捕捉手語的空間屬性。[13]提出了一種基于時空圖神經網絡的手語翻譯系統，該系統在捕捉手語的時空結構方面具有強大的能力，與傳統的神經機器翻譯方法[13]相比，取得了最好的性能。
3.5 技術增長排名
了解技術的增長率是技術部門業務戰略的核心關鍵。此外，預測技術的增長速度和相互之間的關系，有助于在產品定義、營銷策略和研發方面的商業決策。[32]提出了一種基于時空圖神經網絡的社交網絡技術增長排名預測方法。
4. 結論
圖神經網絡在過去幾年中獲得了巨大的興趣。這些強大的算法將深度學習模型擴展到非歐氏空間。然而，圖神經網絡限于靜態圖結構假設，限制了圖神經網絡在數據隨時間變化時的性能。時序圖神經網絡是考慮時間因素的圖神經網絡的擴展。本文對時空圖神經網絡進行了全面的概述。本文提出了一種分類法，基于時變方法將時空圖神經網絡分為兩類。還討論了時空圖神經網絡的廣泛應用。最后，根據當前時空圖神經網絡面臨的公開挑戰，提出了未來的研究方向。
