圖學(xué)習(xí)領(lǐng)域的數(shù)據(jù)饑荒問(wèn)題，又有能緩解的新花活了！

OpenGraph，一個(gè)基于圖的基礎(chǔ)模型，專(zhuān)門(mén)用于在多種圖數(shù)據(jù)集上進(jìn)行零樣本預(yù)測(cè)。

背后是港大數(shù)據(jù)智能實(shí)驗(yàn)室的主任Chao Huang團(tuán)隊(duì)，他們還針對(duì)圖模型提出了提示調(diào)整技術(shù)，以提高模型對(duì)新任務(wù)的適應(yīng)性。

目前，這項(xiàng)工作已經(jīng)掛上了GitHub。

據(jù)介紹，這項(xiàng)工作主要深入探討增強(qiáng)圖模型泛化能力的策略（特別是在訓(xùn)練和測(cè)試數(shù)據(jù)存在顯著差異時(shí)）。

而OpenGraph旨在通過(guò)學(xué)習(xí)通用的圖結(jié)構(gòu)模式，并僅通過(guò)前向傳播進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)對(duì)全新數(shù)據(jù)的零樣本預(yù)測(cè)。

為了實(shí)現(xiàn)目標(biāo)，團(tuán)隊(duì)解決了以下3點(diǎn)挑戰(zhàn)：

• 數(shù)據(jù)集間的token差異：不同圖數(shù)據(jù)集常有不同的圖token集，我們需要模型能夠跨數(shù)據(jù)集進(jìn)行預(yù)測(cè)。
• 節(jié)點(diǎn)關(guān)系建模：在構(gòu)建通用圖模型時(shí)，有效地建模節(jié)點(diǎn)關(guān)系至關(guān)重要，這關(guān)系到模型的擴(kuò)展性和效率。
• 數(shù)據(jù)稀缺：面對(duì)數(shù)據(jù)獲取的難題，我們通過(guò)大型語(yǔ)言模型進(jìn)行數(shù)據(jù)增強(qiáng)，以模擬復(fù)雜的圖結(jié)構(gòu)關(guān)系，提升模型訓(xùn)練質(zhì)量。

通過(guò)一系列創(chuàng)新方法，如拓?fù)涓兄膱DTokenizer和基于錨點(diǎn)的圖Transformer，OpenGraph有效應(yīng)對(duì)上述挑戰(zhàn)，在多個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果證明了模型的出色泛化能力。

OpenGraph模型

OpenGraph模型架構(gòu)主要由3個(gè)核心部分組成：

• 統(tǒng)一圖Tokenizer。
• 可擴(kuò)展的圖Transformer。
• 基于大語(yǔ)言模型的知識(shí)蒸餾技術(shù)。

首先來(lái)說(shuō)說(shuō)統(tǒng)一圖Tokenizer。

為了適應(yīng)不同數(shù)據(jù)集的節(jié)點(diǎn)和邊的差異，團(tuán)隊(duì)開(kāi)發(fā)了統(tǒng)一圖Tokenizer，它將圖數(shù)據(jù)標(biāo)準(zhǔn)化為token序列。

這一過(guò)程包括高階鄰接矩陣平滑化和拓?fù)涓兄成洹?/p>

高階鄰接矩陣平滑化即利用鄰接矩陣的高階冪來(lái)解決連接稀疏的問(wèn)題，而拓?fù)涓兄成鋭t是將鄰接矩陣轉(zhuǎn)換為節(jié)點(diǎn)序列，并使用快速奇異值分解（SVD）最小化信息損失，保留更多的圖結(jié)構(gòu)信息。

其次是可擴(kuò)展的圖Transformer。

在token化后，OpenGraph使用Transformer架構(gòu)模擬節(jié)點(diǎn)間的依賴(lài)，主要采用以下技術(shù)優(yōu)化模型性能和效率：

一來(lái)是token序列采樣，通過(guò)采樣技術(shù)減少模型需要處理的關(guān)系數(shù)量，從而降低訓(xùn)練的時(shí)間和空間復(fù)雜度。

二來(lái)是錨點(diǎn)采樣的自注意力機(jī)制。此方法進(jìn)一步降低計(jì)算復(fù)雜度，通過(guò)分階段學(xué)習(xí)節(jié)點(diǎn)間的信息傳遞，有效提高模型的訓(xùn)練效率和穩(wěn)定性。

最后是大語(yǔ)言模型知識(shí)蒸餾。

為了應(yīng)對(duì)培訓(xùn)通用圖模型時(shí)面臨的數(shù)據(jù)隱私和種類(lèi)多樣性問(wèn)題，團(tuán)隊(duì)從大語(yǔ)言模型（LLM）的知識(shí)和理解能力中獲得靈感，使用LLM生成各種圖結(jié)構(gòu)數(shù)據(jù)。

這一數(shù)據(jù)增強(qiáng)機(jī)制通過(guò)模擬真實(shí)世界圖的特征，有效提升了數(shù)據(jù)的質(zhì)量和實(shí)用性。

團(tuán)隊(duì)還首先生成適應(yīng)特定應(yīng)用的節(jié)點(diǎn)集，每個(gè)節(jié)點(diǎn)擁有文本描述以便生成邊。

在面對(duì)如電子商務(wù)平臺(tái)這種大規(guī)模節(jié)點(diǎn)集時(shí)，研究人員通過(guò)將節(jié)點(diǎn)細(xì)分為更具體的子類(lèi)別來(lái)處理。

例如，從“電子產(chǎn)品”細(xì)化到具體的“移動(dòng)電話(huà)”“筆記本電腦”等，此過(guò)程反復(fù)進(jìn)行，直到節(jié)點(diǎn)精細(xì)到接近真實(shí)實(shí)例。

提示樹(shù)算法則按樹(shù)狀結(jié)構(gòu)將節(jié)點(diǎn)細(xì)分，并生成更細(xì)致的實(shí)體。

從一般的類(lèi)別如“產(chǎn)品”開(kāi)始，逐步細(xì)化到具體的子類(lèi)別，最終形成節(jié)點(diǎn)樹(shù)。

至于邊的生成，利用吉布斯采樣，研究人員基于已生成的節(jié)點(diǎn)集來(lái)形成邊。

為了減少計(jì)算負(fù)擔(dān)，我們不直接通過(guò)LLM遍歷所有可能的邊，而是先利用LLM計(jì)算節(jié)點(diǎn)間的文本相似度，再通過(guò)簡(jiǎn)單的算法判斷節(jié)點(diǎn)關(guān)系。

在此基礎(chǔ)上，團(tuán)隊(duì)引入了幾種技術(shù)調(diào)整：

• 動(dòng)態(tài)概率標(biāo)準(zhǔn)化：通過(guò)動(dòng)態(tài)調(diào)整，將相似度映射到更適合采樣的概率范圍內(nèi)。
• 節(jié)點(diǎn)局部性：引入局部性概念，只在節(jié)點(diǎn)的局部子集間建立連接，模擬現(xiàn)實(shí)世界中的網(wǎng)絡(luò)局部性。
• 圖拓?fù)淠Ｊ阶⑷耄?/strong>使用圖卷積網(wǎng)絡(luò)修正節(jié)點(diǎn)表示，以更好地適應(yīng)圖結(jié)構(gòu)特征，減少分布偏差。

以上步驟確保了生成的圖數(shù)據(jù)不僅豐富多樣，而且貼近現(xiàn)實(shí)世界的連接模式和結(jié)構(gòu)特性。

實(shí)驗(yàn)驗(yàn)證與性能分析

需要注意，該實(shí)驗(yàn)專(zhuān)注于使用僅由LLM生成的數(shù)據(jù)集訓(xùn)練OpenGraph模型，并在多樣化的真實(shí)場(chǎng)景數(shù)據(jù)集上進(jìn)行測(cè)試，涵蓋節(jié)點(diǎn)分類(lèi)和鏈接預(yù)測(cè)任務(wù)。

實(shí)驗(yàn)設(shè)計(jì)如下：

零樣本設(shè)置。

為了評(píng)估OpenGraph在未見(jiàn)過(guò)的數(shù)據(jù)上的表現(xiàn)，我們?cè)谏傻挠?xùn)練集上訓(xùn)練模型，然后在完全不同的真實(shí)測(cè)試集上進(jìn)行評(píng)估。確保了訓(xùn)練和測(cè)試數(shù)據(jù)在節(jié)點(diǎn)、邊和特征上均無(wú)重合。

少樣本設(shè)置。

考慮到許多方法難以有效執(zhí)行零樣本預(yù)測(cè)，我們引入少樣本設(shè)置，基線(xiàn)模型在預(yù)訓(xùn)練數(shù)據(jù)上預(yù)訓(xùn)練后，采用k-shot樣本進(jìn)行微調(diào)。

在2個(gè)任務(wù)和8個(gè)測(cè)試集上的結(jié)果顯示，OpenGraph在零樣本預(yù)測(cè)中顯著優(yōu)于現(xiàn)有方法。

此外，現(xiàn)有預(yù)訓(xùn)練模型在跨數(shù)據(jù)集任務(wù)中的表現(xiàn)有時(shí)不如從頭訓(xùn)練的模型。

圖Tokenizer設(shè)計(jì)影響研究

同時(shí)，團(tuán)隊(duì)探索了圖Tokenizer設(shè)計(jì)如何影響模型性能。

首先，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，不進(jìn)行鄰接矩陣平滑（平滑階數(shù)為0）會(huì)顯著降低性能，說(shuō)明平滑處理的必要性。

然后，研究人員嘗試了幾種簡(jiǎn)單的拓?fù)涓兄娲桨福嚎鐢?shù)據(jù)集的獨(dú)熱編碼ID、隨機(jī)映射和基于節(jié)點(diǎn)度數(shù)的表示。

實(shí)驗(yàn)結(jié)果顯示，這些替代方案性能均不理想。

具體來(lái)說(shuō)，跨數(shù)據(jù)集的ID表示效果最差，基于度數(shù)的表示也表現(xiàn)不佳，而隨機(jī)映射雖稍好，但與優(yōu)化的拓?fù)涓兄成湎啾龋阅懿罹嗝黠@。

數(shù)據(jù)生成技術(shù)的影響

團(tuán)隊(duì)調(diào)查了不同預(yù)訓(xùn)練數(shù)據(jù)集對(duì)OpenGraph性能的影響，包括使用基于LLM的知識(shí)蒸餾方法生成的數(shù)據(jù)集，以及幾個(gè)真實(shí)數(shù)據(jù)集。

實(shí)驗(yàn)中比較的預(yù)訓(xùn)練數(shù)據(jù)集包括從團(tuán)隊(duì)生成方法中移除某項(xiàng)技術(shù)后的數(shù)據(jù)集、2個(gè)與測(cè)試數(shù)據(jù)集無(wú)關(guān)的真實(shí)數(shù)據(jù)集（Yelp2018和Gowalla）、1個(gè)與測(cè)試數(shù)據(jù)集類(lèi)似的真實(shí)數(shù)據(jù)集（ML-10M）。

實(shí)驗(yàn)結(jié)果顯示，生成數(shù)據(jù)集在所有測(cè)試集上均展示了良好性能；三種生成技術(shù)的移除都顯著影響了性能，驗(yàn)證了這些技術(shù)的有效性。

使用與測(cè)試集無(wú)關(guān)的真實(shí)數(shù)據(jù)集（如Yelp和Gowalla）訓(xùn)練時(shí)，性能有時(shí)候會(huì)下降，這可能是由于不同數(shù)據(jù)集之間的分布差異。

ML-10M數(shù)據(jù)集在與之類(lèi)似的測(cè)試數(shù)據(jù)集（如ML-1M和ML-10M）上取得了最佳性能，突顯了訓(xùn)練和測(cè)試數(shù)據(jù)集相似性的重要性。

Transformer采樣技術(shù)的研究

在這部分實(shí)驗(yàn)中，研究團(tuán)隊(duì)探討了圖Transformer模塊中使用的兩種采樣技術(shù)：

token序列采樣（Seq）和錨點(diǎn)采樣（Anc）。

他們對(duì)這兩種采樣方法進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，以評(píng)估它們對(duì)模型性能的具體影響。

實(shí)驗(yàn)結(jié)果表明，無(wú)論是token序列采樣還是錨點(diǎn)采樣，兩者都能在訓(xùn)練和測(cè)試階段有效地減少模型的空間和時(shí)間復(fù)雜度。這對(duì)于處理大規(guī)模圖數(shù)據(jù)尤為重要，可以顯著提高效率。

從性能的角度分析，token序列采樣對(duì)模型的整體性能產(chǎn)生了正面影響。這種采樣策略通過(guò)選取關(guān)鍵的token來(lái)優(yōu)化圖的表示，從而提高了模型處理復(fù)雜圖結(jié)構(gòu)的能力。

相比之下，在ddi數(shù)據(jù)集上的實(shí)驗(yàn)顯示，錨點(diǎn)采樣可能對(duì)模型性能產(chǎn)生負(fù)面影響。錨點(diǎn)采樣通過(guò)選擇特定的節(jié)點(diǎn)作為錨點(diǎn)來(lái)簡(jiǎn)化圖結(jié)構(gòu)，但這種方法可能會(huì)忽略一些關(guān)鍵的圖結(jié)構(gòu)信息，從而影響模型的準(zhǔn)確性。

綜上所述，雖然這兩種采樣技術(shù)都有其優(yōu)勢(shì)，但在實(shí)際應(yīng)用中需要根據(jù)具體的數(shù)據(jù)集和任務(wù)需求仔細(xì)選擇合適的采樣策略。

研究結(jié)論

本研究旨在開(kāi)發(fā)一個(gè)高適應(yīng)性框架，該框架能夠精確地識(shí)別和解析各種圖結(jié)構(gòu)的復(fù)雜拓?fù)淠Ｊ健?/p>

研究人員的目標(biāo)是通過(guò)充分發(fā)揮所提出模型的能力，顯著增強(qiáng)模型在零樣本圖學(xué)習(xí)任務(wù)中的泛化能力，包括多種下游應(yīng)用。

模型是在可擴(kuò)展的圖Transformer架構(gòu)和LLM增強(qiáng)的數(shù)據(jù)增強(qiáng)機(jī)制的支持下構(gòu)建的，以提升OpenGraph的效率和健壯性。

通過(guò)在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行的廣泛測(cè)試，團(tuán)隊(duì)證明了模型的出色泛化性能。

據(jù)了解，作為對(duì)圖基礎(chǔ)模型構(gòu)建的初步嘗試，未來(lái)，團(tuán)隊(duì)工作將著重于增加框架的自動(dòng)化能力，包括自動(dòng)識(shí)別噪聲連接和進(jìn)行反事實(shí)學(xué)習(xí)。

同時(shí)，團(tuán)隊(duì)計(jì)劃學(xué)習(xí)和提取各種圖結(jié)構(gòu)的通用且可遷移的模式，進(jìn)一步推動(dòng)模型的應(yīng)用范圍和效果。

參考鏈接：

[1]論文: https://arxiv.org/pdf/2403.01121.pdf。

[2]源碼庫(kù):https://github.com/HKUDS/OpenGraph。