來源：DeepHub IMBA

本文約2100字，建議閱讀8分鐘
圖自我監(jiān)督學(xué)習(xí)是一個(gè)有趣的話題，因?yàn)榇蠖鄶?shù)數(shù)據(jù)都是圖結(jié)構(gòu)的，并且通常沒有標(biāo)簽。

深度學(xué)習(xí)在解決許多復(fù)雜的機(jī)器學(xué)習(xí)問題方面一直是一個(gè)有趣的課題，特別是最近在圖數(shù)據(jù)方面。然而，大多數(shù)的解決方案要么是監(jiān)督或半監(jiān)督，高度依賴于數(shù)據(jù)中的標(biāo)簽，導(dǎo)致過擬合和整體魯棒性較弱。自監(jiān)督學(xué)習(xí)(Self-Supervised Learning, SSL)是一種很有前途的解決方案，它從無標(biāo)記數(shù)據(jù)中挖掘有用的信息，使其成為圖數(shù)據(jù)領(lǐng)域中一個(gè)非常有趣的選擇。

為什么自監(jiān)督學(xué)習(xí)更適合圖形數(shù)據(jù)?

SSL有助于理解圖形數(shù)據(jù)中存在的結(jié)構(gòu)和屬性信息，使用標(biāo)記數(shù)據(jù)時(shí)可能會(huì)忽略這些信息。

對于現(xiàn)實(shí)世界的數(shù)據(jù)，獲取帶標(biāo)簽的圖形數(shù)據(jù)非常昂貴且不切實(shí)際。由于圖形的常規(guī)和復(fù)雜數(shù)據(jù)結(jié)構(gòu)，因此SSL前置任務(wù)在這種情況下可以更好地工作。

如何在圖形數(shù)據(jù)上進(jìn)行自我監(jiān)督學(xué)習(xí)?

自我監(jiān)督模型通過執(zhí)行一些前置任務(wù)來幫助學(xué)習(xí)未標(biāo)記圖形數(shù)據(jù)中的通用信息。前置任務(wù)是補(bǔ)充任務(wù)的組合，這些任務(wù)可幫助獲取監(jiān)測信號，而無需手動(dòng)添加注釋的數(shù)據(jù)。

圖形數(shù)據(jù)和定義

圖的定義：

圖是一組節(jié)點(diǎn)和一組邊。鄰接矩陣用于表示圖的拓?fù)?。?jié)點(diǎn)和邊具有自己的屬性（特征）的圖稱為屬性圖。異構(gòu)圖具有不止一種類型的節(jié)點(diǎn)或邊，而同類圖則相反。

下游圖分析任務(wù)的類型：

通過神經(jīng)網(wǎng)絡(luò)（編碼器）從輸入圖創(chuàng)建嵌入，然后將其饋送到輸出頭以執(zhí)行不同的下游任務(wù)。下游任務(wù)有三種主要類型，可以歸納如下：

• Node-level 節(jié)點(diǎn)級任務(wù)是與圖形中的節(jié)點(diǎn)相關(guān)的不同任務(wù)，例如，節(jié)點(diǎn)分類，其中在少量標(biāo)記節(jié)點(diǎn)上訓(xùn)練的模型會(huì)預(yù)測其余節(jié)點(diǎn)的標(biāo)簽。
• Link-level 鏈接級任務(wù)專注于節(jié)點(diǎn)的邊緣和表示形式，例如，鏈接預(yù)測，其目標(biāo)是識別邊緣之間的任何連接。
• Graph-leve 圖級任務(wù)以圖形表示為目標(biāo)，它們從多個(gè)圖中學(xué)習(xí)并預(yù)測單個(gè)圖的屬性。

自監(jiān)督訓(xùn)練

根據(jù)圖編碼器，自監(jiān)督的前置任務(wù)和下游任務(wù)之間的關(guān)系，自監(jiān)督的訓(xùn)練方案可以分為以下三種類型：

• 預(yù)訓(xùn)練和微調(diào)是第一種訓(xùn)練方案，其中在編碼器中預(yù)先進(jìn)行預(yù)置任務(wù)，然后在特定下游任務(wù)中進(jìn)行微調(diào)。
• 聯(lián)合學(xué)習(xí)是一種將編碼器與前置任務(wù)和下游任務(wù)一起進(jìn)行預(yù)訓(xùn)練的方案。
• 無監(jiān)督表示學(xué)習(xí)，其中先使用前置任務(wù)對編碼器進(jìn)行預(yù)訓(xùn)練，然后在使用下游任務(wù)訓(xùn)練模型時(shí)凍結(jié)編碼器的參數(shù)。在此訓(xùn)練方案中，在編碼器訓(xùn)練期間沒有監(jiān)督。

圖自監(jiān)督學(xué)習(xí)的類型

在本節(jié)中，我們將探討圖自我監(jiān)督學(xué)習(xí)中的四種不同類別的預(yù)設(shè)設(shè)計(jì)技術(shù)-

蒙版特征回歸（MFR）。

此技術(shù)用于計(jì)算機(jī)視覺中的圖像修復(fù)，該過程是通過填充圖像的蒙版像素來恢復(fù)損壞的圖像的過程。在圖形數(shù)據(jù)的上下文中，節(jié)點(diǎn)和邊的特征被零或其他標(biāo)記掩蓋。此步驟之后，目標(biāo)是使用圖形神經(jīng)網(wǎng)絡(luò)（GNN）根據(jù)未屏蔽的數(shù)據(jù)恢復(fù)被屏蔽的特征。

就圖數(shù)據(jù)而言，該分支的現(xiàn)有方法可以總結(jié)如下：

• 屏蔽節(jié)點(diǎn)特征回歸圖補(bǔ)全—通過啟用GNN從上下文中提取特征；
• AttributeMask —它的目標(biāo)是重建經(jīng)過PCA處理的密集特征矩陣；
• AttrMasking —通過用特殊的掩碼替換邊和節(jié)點(diǎn)的屬性，強(qiáng)制GNN同時(shí)重建它們；
• 重構(gòu)技術(shù)-從干凈或損壞的輸入中重構(gòu)特征或嵌入，并使用它們以聯(lián)合學(xué)習(xí)的方式訓(xùn)練編碼器。

輔助性能預(yù)測(APP)

該分支可用于理解底層圖的結(jié)構(gòu)和屬性信息，提取自我監(jiān)督信號。這可以使用分類或基于回歸的方法來完成，如下所示：

• 基于回歸的方法(R-APP)——在這種方法中，學(xué)習(xí)了圖的局部屬性，例如，關(guān)于圖的整體結(jié)構(gòu)的代表性節(jié)點(diǎn)屬性。然后，利用這些信息可以根據(jù)圖中預(yù)定義的簇預(yù)測未標(biāo)記節(jié)點(diǎn)的屬性；
• 基于分類的方法(C-APP)——與R-APP相比，這種方法依賴于構(gòu)建偽標(biāo)簽。在訓(xùn)練過程中分配偽標(biāo)簽并使用這些自我監(jiān)督標(biāo)簽(屬性)、基于固有拓?fù)?基于結(jié)構(gòu))對節(jié)點(diǎn)進(jìn)行分組、圖屬性預(yù)測(節(jié)點(diǎn)的統(tǒng)計(jì)屬性和節(jié)點(diǎn)的中心性)是基于分類方法(C-APP)的一些例子。

同比例對比（SSC）

通過預(yù)測圖中兩個(gè)元素之間的相似性（例如，節(jié)點(diǎn)-節(jié)點(diǎn)對比或圖-圖對比）來學(xué)習(xí)方法的這一分支。此方法的不同分支可以總結(jié)如下：

• 基于上下文的方法（C-SSC）-此方法的主要思想是在嵌入空間中拉近上下文節(jié)點(diǎn)。假設(shè)上下文相似的節(jié)點(diǎn)更可能在圖中互連：
• 基于增強(qiáng)的方法（A-SSC）-通過這種方法從原始數(shù)據(jù)樣本生成增強(qiáng)的數(shù)據(jù)樣本，并將來自同一來源的樣本視為正對，而來自不同來源的樣本視為負(fù)對。

跨尺度對比（CSC）

與SSC相反，此方法通過對比圖中的不同元素來學(xué)習(xí)表示，例如，節(jié)點(diǎn)圖對比，節(jié)點(diǎn)子圖對比。

混合自我監(jiān)督學(xué)習(xí)

在混合學(xué)習(xí)中，可以使用不同類型的前置任務(wù)來組合以提高性能，而不是使用單一方法。

• 例如，GPT-GNN將MFR和C-SSC組合成一個(gè)圖生成任務(wù)以預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)；
• 使用節(jié)點(diǎn)特征重構(gòu)（MFR）和圖結(jié)構(gòu)恢復(fù)（C-SSC）來預(yù)訓(xùn)練圖變換器模型的Graph-Bert。

挑戰(zhàn)

缺乏理論基礎(chǔ)—現(xiàn)有的方法要么依賴直覺，要么依賴經(jīng)驗(yàn)實(shí)驗(yàn)。一個(gè)強(qiáng)大的圖SSL理論基礎(chǔ)可以縮小經(jīng)驗(yàn)SSL和圖理論之間的差距。

增強(qiáng)-由于圖SSL有許多基于增強(qiáng)的方法，因此應(yīng)進(jìn)一步探索數(shù)據(jù)增強(qiáng)方案。

復(fù)雜圖的前置任務(wù)-現(xiàn)有方法主要用于屬性圖，只有少數(shù)幾種方法著重于復(fù)雜圖。希望有更多的前置任務(wù)設(shè)計(jì)用于復(fù)雜圖和更普遍的圖。

結(jié)論

圖自我監(jiān)督學(xué)習(xí)是一個(gè)有趣的話題，因?yàn)榇蠖鄶?shù)數(shù)據(jù)都是圖結(jié)構(gòu)的，并且通常沒有標(biāo)簽。諸如此類的方法有助于提供更好的概括性和健壯的模型。使用這些方法，我們可以了解圖表中存在的結(jié)構(gòu)和屬性信息，而這些信息在使用標(biāo)記數(shù)據(jù)時(shí)通常會(huì)被忽略。

論文地址：Graph Self-Supervised Learning: A Survey arxiv:2103.00111

作者：Gayathri Pulagam

原文地址：https://gayathripulagam.medium.com/self-supervised-learning-for-graph-data-65c5ab5030fb

編輯：黃繼彥

校對：林亦霖