來源：人工智能AI技術

本文約12000字，建議閱讀10+分鐘

本文為你簡述圖計算、圖數(shù)據(jù)庫、知識圖譜、圖神經網(wǎng)絡等圖技術領域的相關歷史及不同類型的圖結構。

在科學研究中，從方法論上來講，都應“先見森林，再見樹木”。當前，人工智能學術研究方興未艾，技術迅猛發(fā)展，可謂萬木爭榮，日新月異。對于AI從業(yè)者來說，在廣袤的知識森林中，系統(tǒng)梳理脈絡，才能更好地把握趨勢。 

摘要：隨著計算機行業(yè)和互聯(lián)網(wǎng)時代的不斷發(fā)展與進步，圖神經網(wǎng)絡已經成為人工智能和大數(shù)據(jù)重要研究領域。圖神經網(wǎng)絡是對相鄰節(jié)點間信息的傳播和聚合的重要技術，可以有效地將深度學習的理念應用于非歐幾里德空間的數(shù)據(jù)上。簡述圖計算、圖數(shù)據(jù)庫、知識圖譜、圖神經網(wǎng)絡等圖技術領域的相關研究歷史，分類介紹不同類型的圖結構。分析對比不同的圖神經網(wǎng)絡技術，重點從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網(wǎng)絡算法。闡述圖生成和圖對抗網(wǎng)絡、圖強化學習、圖遷移學習、神經任務圖和圖零樣本學習等不同的圖網(wǎng)絡與深度學習方法相結合的技術方法，并列舉不同的圖神經網(wǎng)絡技術在文本、圖像、知識圖譜、視頻任務等領域的具體應用。最后，對圖神經網(wǎng)絡未來的發(fā)展與研究方向加以展望。

關鍵詞：圖神經網(wǎng)絡，圖結構，圖計算，深度學習，圖神經網(wǎng)絡應用

01 概述

近年來隨著計算機行業(yè)的快速發(fā)展和數(shù)據(jù)量的井噴式增長，深度學習方法被提出并得到了廣泛的應用。深度學習通過神經網(wǎng)絡端到端的解決方案，在圖像處理、語音識別、語義理解等領域取得了巨大的成功，深度學習的應用往往都是在高維特征空間上特征規(guī)則分布的歐幾里德數(shù)據(jù)。作為一種關系型數(shù)據(jù)結構，圖(Graph)在深度學習中的應用研究近年來受到越來越多的關注，本文將圖的演進歷程分為數(shù)學起源、計算應用、神經網(wǎng)絡延伸三個階段。

圖的概念起源于18世紀著名的柯尼斯堡七橋問題，到了20世紀中期，擬陣理論、超圖理論、極圖理論等研究蓬勃發(fā)展，使得圖論(Graph Theory)在電子計算誕生前，就已經成為了重要的數(shù)學研究領域。

隨著計算機的出現(xiàn)和機器計算時代的到來和發(fā)展，圖作為一種能夠有效且抽象地表達信息和數(shù)據(jù)中的實體以及實體之間關系的重要數(shù)據(jù)結構被廣泛應用，圖數(shù)據(jù)庫有效解決了傳統(tǒng)的關系型數(shù)據(jù)結構面對大量復雜的數(shù)據(jù)所暴露出的建模缺陷多、計算速度慢等問題，圖數(shù)據(jù)庫也成為了非常熱門的研究領域。圖結構(Graph-structured Data)]可以將結構化數(shù)據(jù)點通過邊的形式，依照數(shù)據(jù)間的關系將不同類型和結構的數(shù)據(jù)節(jié)點連接起來，因而被廣泛地應用在數(shù)據(jù)的存儲、檢索以及計算應用中。

基于圖結構數(shù)據(jù)，知識圖譜[4-7}可以通過點和邊的語義關系，來實現(xiàn)精確地描述現(xiàn)實世界中實體之間的關聯(lián)關系，作為人工智能非常重要的研究領域，知識圖譜的研究方向包括知識抽取、知識推理、知識圖譜可視化等。圖計算(Graph Computing)具有數(shù)據(jù)規(guī)模量大、局部性低、計算性能高等特性，圖計算算法}s-}}主要可以分為路徑搜索算法、中心性算法、社群發(fā)現(xiàn)算法等三類，實現(xiàn)了在關系復雜型的大規(guī)模數(shù)據(jù)上高時效性和準確度的表現(xiàn)，在社交網(wǎng)絡、團體反欺詐和用戶推薦等領域有著重要的應用。

與已經非常成熟圖計算不同，圖神經網(wǎng)絡( Graph Neural Network)的研究主要是集中在相鄰節(jié)點信息的傳播與聚合上，從圖神經網(wǎng)絡的概念提出，到受深度學習中卷積神經網(wǎng)絡的啟發(fā)，2013年提出的基于圖論的圖卷積神經網(wǎng)絡研究方向吸引了大量學者關注。2018年DeepMind提出圖網(wǎng)絡(Graph NeW ork) flz}的概念，希望能夠將深度學習端到端的學習方式與圖結構關系歸納推理的理論結合解決深度學習無法處理關系推理的問題。針對圖神經網(wǎng)絡存在的問題，不同的學者們也給出了不同的方案，隨著對圖神經網(wǎng)絡這一新興領域更加深入的研究與探索，人工智能領域的版圖將得到更大擴展。

文獻[12]在關系歸納偏置和深度學習的研究基礎上，提出了面向關系推理的圖網(wǎng)絡概念并進行了綜述，但未對不同圖網(wǎng)絡技術進行分類和對比。文獻[13]從半監(jiān)督、無監(jiān)督方法的角度對圖結構上的深度學習進行了綜述，但缺少相近的分類和應用的討論。文獻[14]主要從傳播規(guī)則、網(wǎng)絡結構等角度分析了圖神經網(wǎng)絡的不同模型以及應用。文獻[15]則是詳細對比了時域和空間的不同圖卷神經網(wǎng)絡方法結構，但沒有對圖神經網(wǎng)絡之于深度學習領域的探討，如圖強化學習、圖遷移學習等。本文針對圖神經網(wǎng)絡，分析對比了六種圖神經網(wǎng)絡方法的優(yōu)劣，首次對處理異構圖數(shù)據(jù)的圖神經網(wǎng)絡技術進行了討論和研究，綜述了五類圖神經網(wǎng)絡的研究領域，并對未來的發(fā)展方向進行了展望。

02 圖結構

2.1 圖結構定義

圖神經網(wǎng)絡所處理的數(shù)據(jù)為在歐氏空間內特征表示為不規(guī)則網(wǎng)絡的圖結構數(shù)據(jù)，這里定義基本的圖結構為:    

其中圖G由數(shù)據(jù)節(jié)點集合  連接節(jié)點集合。

映射到高維特征空間：

所得到的鄰接矩陣通過下圖表示：

表示鄰接矩陣Aij中的元素。

2.2 不同的圖結構

從圖的構成上來進行區(qū)分，圖結構主要可以分為空間和時間兩個角度?？臻g上圖結構的變化可以從節(jié)點和邊來進行區(qū)分，如邊異構的有向圖、權重圖和邊信息圖，以及節(jié)點異構圖。時間上引入節(jié)點在時序變化中的差異從而形成了時空圖結構。圖1中對這五種典型的圖結構示例進行了對比展示，表1中對不同圖結構的結構特征、圖模型和應用場景進行了總結和梳理。

1)有向圖是指在圖結構中，連接節(jié)點之間的邊包含指向性關系，即節(jié)點之間的關聯(lián)就包含了方向的傳遞性關系，對于圖神經網(wǎng)絡而言，這種傳遞關系和深度學習神經網(wǎng)絡神經元中信號傳遞的結構近似，有向圖的輸入是各個節(jié)點所對應的參數(shù)。

針對單向圖的處理方式，Niepert等人[16]提出了適用于有向圖的無監(jiān)督判斷不同節(jié)點標簽方式的理論。而就可能存在的雙向關系，Kampffmeyer等人[17]在利用知識圖譜解決零樣本學習的方法中提出了通過雙向權重對應的雙向鄰接矩陣表示雙向關系，從而實現(xiàn)給神經網(wǎng)絡傳遞更多的信息。

2)權重圖是指圖結構中的邊包含權重信息，可以有效地描述節(jié)點之間相互作用的可靠程度，定量地表現(xiàn)關系的連接程度。對于權重圖的處理，Duan等人[18]提出了通過對動態(tài)權重有向圖進行歸一化處理，利用節(jié)點之間的關聯(lián)關系權重動態(tài)實現(xiàn)了信息挖掘的方法。

3)邊信息圖是對于存在不同結構邊的圖結構，節(jié)點之間的關聯(lián)關系可以包含權重、方向以及異構的關系，比如在一個復雜的社交網(wǎng)絡圖中，節(jié)點之間的關聯(lián)關系既可以是單向的關注關系，也可以是雙向的朋友關系。

對于包含復雜邊信息的圖結構而言，復雜的關聯(lián)關系不能直接通過簡單的權重約束來表示，G2S[19]提出了一種將原始圖轉換成二分圖的方式，在處理自然語言處理任務中，將每一個詞節(jié)點之間的關聯(lián)關系采用獨立分開編碼方式，從而大幅提升了語義理解的效率。

4)節(jié)點異構圖是指在圖中的節(jié)點屬于多個不同的類型的圖結構，這種圖結構往往可以根據(jù)異構節(jié)點的類型，對節(jié)點進行向量表示，這里可以通過獨熱編碼等編碼方式來實現(xiàn)節(jié)點的向量表示。

MetaGraph2Vec[20]提出了一種通過元路徑對異構圖結構的文本進行編碼的方式，這種方法根據(jù)異構節(jié)點的類型對鄰居節(jié)點進行分組，可以應用于節(jié)點分類、節(jié)點聚類以及相似度搜索等問題。

5)時空圖是一種屬性圖結構，其特點是高維特征空間f*中的特征矩陣X會隨著時間而變化，這里我們定義為

圖結構隨著時間序列的引入，可以有效地處理包含動態(tài)和時序關系類型的任務，Yan等人[21]提出了一種基于時空圖卷積神經網(wǎng)絡的骨架運動檢測方法，You等人[22]基于視頻標簽節(jié)點之間的鄰接關系相似度，利用提出了一種多標簽視頻分類的圖神經網(wǎng)絡方法。

03 圖神經網(wǎng)絡

圖神經網(wǎng)絡對于非歐幾里德數(shù)據(jù)在深度學習中的應用有著非常重要的地位，尤其是利用圖結構在傳統(tǒng)貝葉斯因果網(wǎng)絡上可解釋的特點，在定義深度神經網(wǎng)絡關系可推理、因果可解釋的問題上有很大的研究意義。如何利用深度學習方法對圖結構的數(shù)據(jù)進行分析和推理吸引了非常多的研究和關注。

這里我們將現(xiàn)有的圖神經網(wǎng)絡的算法進行了總結與歸納，給出一個通用的圖神經網(wǎng)絡結構如圖2所示，將圖神經網(wǎng)絡推理過程通過圖節(jié)點預表示、圖節(jié)點采樣、子圖提取、子圖特征融合、圖神經網(wǎng)絡的生成和訓練子過程來表示，具體步驟如下:

• STEP1圖節(jié)點預表示:通過圖嵌入(Graph Embedding)的方法對圖中每一個節(jié)點進行嵌入表示;
• STEP2圖節(jié)點采樣:對圖中每個節(jié)點或存在的節(jié)點對的正負樣本進行采樣;
• STEP3子圖提取:提取圖中每一個節(jié)點的鄰節(jié)點構建n階子圖，其中n表示第n層的鄰節(jié)點，從而形成通用的子圖結構;
• STEP4子圖特征融合:對每一個輸入神經網(wǎng)絡的子圖進行局部或全局的特征提取;
• STEPS生成圖神經網(wǎng)絡和訓練:定義網(wǎng)絡的層數(shù)和輸入輸出的參數(shù)，并對圖數(shù)據(jù)進行網(wǎng)絡訓練。

本章將從分別頻域和空間域的GCN研究的角度，對比多種圖卷積神經網(wǎng)絡[23]的差異效果和發(fā)展歷程;介紹門控圖神經網(wǎng)絡[24]、利用注意力結構替代卷積的圖注意力網(wǎng)絡[25]、針對無監(jiān)督模型的圖自動編碼器[26]以及時域空間的圖時空網(wǎng)絡[27];討論圖嵌入[28]作為圖神經網(wǎng)絡的模型結構和多種實現(xiàn)方式。最后對上述網(wǎng)絡模型從聚合方式、網(wǎng)絡基礎和應用優(yōu)勢的角度對比分析圖神經網(wǎng)絡模型之間的差異。

3.1 圖卷積神經網(wǎng)絡

深度學習的流行與卷積神經網(wǎng)絡的廣泛適用性密不可分，圖神經網(wǎng)絡的研究中時間最長、研究成果最多的就是圖卷積神經網(wǎng)絡，從特征空間來看圖卷積神經網(wǎng)絡主要可以分為頻域和空間域兩個類型。

圖卷積神經網(wǎng)絡將原始圖結構的數(shù)據(jù)G=(V, E)映射到一個新的特征空間：

以單層向前傳播圖卷積神經網(wǎng)絡為例，第i層神經網(wǎng)絡的特征用wi表示，對于圖結構中的每一個節(jié)點vi在計算時，每一層神經網(wǎng)絡的輸出H(l+1)都可以以非線性函數(shù)f(·,·)表示為

其中A為特征鄰接矩陣。

通過非線性激活函數(shù)ReLU=σ(·)實現(xiàn)一個圖卷積神經網(wǎng)絡結構，其分層傳播規(guī)則如下：

表示為圖結構G= (V, E)的鄰接矩陣，I為單位矩陣：

表示矩陣A的對角矩陣，w(l)為第l層卷積神經網(wǎng)絡的權重矩陣。通過分層傳播規(guī)則，圖卷積神經網(wǎng)絡將卷積神經網(wǎng)絡局部參數(shù)共享的特性帶入了圖結構中，使得每一個節(jié)點的感受域的光對隨著傳播層數(shù)的增加而得更大的提升，從而獲取到更多鄰節(jié)點的信息。

接下來兩小節(jié)將分別從頻域和空間圖卷積的方向具體列舉分析不同類型圖卷積神經網(wǎng)絡方法。

3.1.1 基于頻域的圖卷積神經網(wǎng)絡

頻域的圖卷積神經網(wǎng)絡基于圖信號處理[29]問題，將圖神經網(wǎng)絡的卷積層定義為一個濾波器，即通過濾波器去除噪聲信號從而得到輸入信號的分類結果實際問題中只能用于處理無向且邊上無信息的圖結構，將輸入信號的圖定義為可特征分解的拉普拉斯矩陣，歸一化后的特征分解可以表示為通用結構其對角矩陣A就是特征值的λi按序排列組成的特征矩陣。

最早在頻域實現(xiàn)的圖卷積神經網(wǎng)絡是由Bruna[10]等人提出定義頻域圖卷積神經網(wǎng)絡的卷積層函數(shù)。將頻域圖卷積神經網(wǎng)絡假設在圖信號處理中的濾波器，特征分解需要至少o(n3)的計算復雜度和0 (n2)的存儲空間，對于輸入圖數(shù)據(jù)為稀疏矩陣的場景時，可以通過隨機特征分解等方法在保證精度的情況下將時間復雜度降低到0 (n2r + r3), r為近似矩陣的秩遠小于n。

Henafff[30]等人提出基于插值內核(Interpolation Kernel)的圖卷積神經網(wǎng)絡方法。在頻域卷積神經網(wǎng)絡的基礎上提出了無監(jiān)督和有監(jiān)督兩種新的通過圖卷積神經網(wǎng)絡來進行推理預測的方案，從圖1圖神經網(wǎng)絡通用結構中可以看出，第一步圖節(jié)點的預表示可以根據(jù)數(shù)據(jù)預測相似性矩陣，這種方法也將應用場景擴充到了大規(guī)模圖像和文本分類等問題中。

Dei}errad[11]等人提出了基于切比雪夫多項式的頻域卷積濾波器ChebNet，其中切比雪夫多項式的組成是由特征值對角矩陣的項組成的，通過切比雪夫展開式Ti(x)替換了原始GCN中通用頻域卷積濾波器g的特征分解部分，從而有效地避免了特征分解的計算部分，將計算復雜度從o(n3)降低到了o (LE)，其中E為輸入圖G中邊的數(shù)量。一階切比雪夫圖卷積神經網(wǎng)絡[27]則是利用了一階切比雪夫展開更好的提升網(wǎng)絡的計算效率。針對包含復雜屬性的節(jié)點異構圖，可以通過圖卷積神經網(wǎng)絡來實現(xiàn)節(jié)點的聚類。為了提升屬性圖的信息提取的性能和模型的效果，Zhang等人提出了AGC[31]自適應圖卷積方法，利用高階圖卷積來獲取全局聚類的結構來定義k階圖卷積，從而實現(xiàn)了對于復雜異質圖的處理。

3.1.2 基于空間的圖卷積神經網(wǎng)絡

與深度學習中卷積神經網(wǎng)絡對圖像的像素點進行卷積運算類似，基于空間的圖卷積神經網(wǎng)絡通過計算中心單一節(jié)點與鄰節(jié)點之間的卷積，來表示鄰節(jié)點間信息的傳遞和聚合，作為特征域的新節(jié)點表示。

Scarselli等人[32]提出了一種利用基于相同圖卷積結構的循環(huán)函數(shù)遞歸地實現(xiàn)了空間圖卷積神經網(wǎng)絡的收斂方法，該方法可以支持節(jié)點和邊上分別包含特定屬性契合傳統(tǒng)卷積神經網(wǎng)絡基本思想的方法。Dai等人[33]提出的隨機穩(wěn)態(tài)圖神經網(wǎng)絡迭代算法SSE通過異步隨機的方式，對于每個擁有不同數(shù)量鄰節(jié)點的節(jié)點而言利用雙向權重矩陣w1，wz在每次卷積迭代中更新節(jié)點的特征表示。

隨機穩(wěn)態(tài)圖神經網(wǎng)絡不支持邊上包含的信息，這里通過兩個權重函數(shù)分別對全部的節(jié)點v∈VN和包含信息的節(jié)點集合v∈VN進行卷積處理，這樣從而使得圖卷積神經網(wǎng)絡的迭代效率得到了提升。圖結構數(shù)據(jù)中節(jié)點存在極多的關系導致參數(shù)數(shù)量過多的情況下，引入基礎分解和塊對角分解兩種方式可以有效解決過擬合的問題。關系圖卷積神經網(wǎng)絡可以有效地應用在以節(jié)點為中心的實體分類問題和以邊為中心的鏈接預測問題上。

AtWOOCl[34]提出的基于圖結構的傳播卷積神經網(wǎng)絡DCNN通過傳播卷積的方式，擴散性地掃描圖結構中的每一個頂點，替代了一般圖卷積神經網(wǎng)絡基于矩陣特征的卷積形式，DCNN的參數(shù)是根據(jù)搜索深度而不是節(jié)點在圖結構中的位置決定的，可以用于節(jié)點、邊以及圖結構等多種分類任務，但由于計算轉移概率的時間復雜度較高，并不適用于大規(guī)模的圖結構數(shù)據(jù)。Zhuang和Ma[35]在傳播和鄰接矩陣兩種卷積結構的基礎上提出了一種雙路圖卷積神經網(wǎng)絡的方法，通過半監(jiān)督圖卷積[29]的和轉移概率的正逐點互信息((PPMI)矩陣作為卷積運算鄰接矩陣來更好提升模型的信息抽取的效果。

圖卷積神經網(wǎng)絡頻域和空間兩個方向分析對比如表2所示。頻域圖卷積神經網(wǎng)絡主要依賴于頻域矩陣的特征分解，而空間圖卷積神經網(wǎng)絡主要是借助鄰節(jié)點特征信息的聚合來定義在圖數(shù)據(jù)上的卷積運算。此外在最新的研究中，GCN的實現(xiàn)方式還包括利用子圖訓練組合的GraphSage[36]，基于信息傳遞的MPNN[37]，以及AGCN[38] MGCN[39]，pinSage[40]，F(xiàn)ast-GCN[41]等方法。同時關于圖卷積神經網(wǎng)絡優(yōu)化方式也有很多研究，針對解決高階圖卷積在空間圖卷積中性能較差問題，引入稀疏鄰域來替代頻域圖卷積的MixHop[42]。

3.2 門控圖神經網(wǎng)絡

目前基于門控機制的遞歸神經網(wǎng)絡機制下的圖神經網(wǎng)絡結構的研究也有不少，例如基于門控循環(huán)單元(GRU)的門控圖神經網(wǎng)絡(GGNN)[43]，通過門控循環(huán)單元控制網(wǎng)絡傳播過程中固定步數(shù)T的迭代循環(huán)來實現(xiàn)門控圖神經網(wǎng)絡的結構，通過節(jié)點二來建立鄰節(jié)點之間的聚合信息，然后通過循環(huán)門控單元z和r實現(xiàn)遞歸過程更新每個節(jié)點的隱藏狀態(tài)。

Tai等人[44]提出了基于子節(jié)點和的樹狀長短期記憶網(wǎng)絡Tree-LSTM用于處理圖神經網(wǎng)絡中的語義表示問題。門控圖神經網(wǎng)絡除了基于門控循環(huán)單元和LSTM的基礎模型外還有很多變種，You等人[45]利用分層循環(huán)遞歸網(wǎng)絡分別生成新的節(jié)點和節(jié)點對應的邊，從而將圖遞歸神經網(wǎng)絡應用于圖生成的問題；Peng等人[46]提出了利用不同的權重矩陣，來表示不同標簽的圖長短神經網(wǎng)絡結構；Ma等人[47]將時間感知LSTM與圖神經網(wǎng)絡結合，利用LSTM來更新兩個關聯(lián)節(jié)點和對應的鄰居節(jié)點的表示，提出了動態(tài)圖神經網(wǎng)絡，更好地處理傳播效應。

3.3 圖注意力網(wǎng)絡

對于圖神經網(wǎng)絡中的注意力機制，可以簡單理解為借助于注意力(attention )模塊取代了一般圖卷積神經網(wǎng)絡中的卷積激活器，在不同的方法中，可以結合門控信息來提升注意力機制感受域的權重參數(shù)，達到更好的推理和應用性能。

圖卷積神經網(wǎng)絡實現(xiàn)了對圖結構數(shù)據(jù)的節(jié)點分類，而注意力機制目前在自然語言處理領域有著非常好的效果和表現(xiàn)。對于圖注意力機制(Graph Attention Network)而言，鄰居節(jié)點的特征做累加求和的過程與圖卷積神經網(wǎng)絡則完全不同，通過全局注意力機制替代了卷積分層傳遞的固化操作，可以有效地選擇在圖結構中更為重要的節(jié)點或子圖、模型、路徑分配更大的注意力權重。

圖注意力網(wǎng)絡中的注意力權重被表示為：

對于第l層網(wǎng)絡而言，定義節(jié)點為：

是注意力模型中的節(jié)點向量

表示為一個可變化的線性變換參數(shù)

那么節(jié)點間的注意力分數(shù)就會根據(jù)注意力權重的不同進行迭代。通過和圖卷積神經網(wǎng)絡的分層傳播規(guī)則的對比，圖注意力網(wǎng)絡將原本的常數(shù)參數(shù)替換為表示鄰節(jié)點權重的注意力參數(shù)。

Zhang等人[49]提出了一種通過卷積子網(wǎng)絡來控制分配權重的自我注意力機制，基于循環(huán)門控單元用于解決流量速度預測的問題。Lee等人[50]提出了結合LSTM的利用注意力機制進行圖節(jié)點分類的方法，Abu-El-Haija等人[42]提出了一種注意力游走的方法，將圖注意力機制應用到節(jié)點嵌入中。

現(xiàn)實中信息在被表示成節(jié)點和邊構成的拓撲結構時往往是異構的，廣義上被定義為異構信息網(wǎng)絡(HIN)[51]，而現(xiàn)階段的圖神經網(wǎng)絡方法大多是聚焦于同構圖的處理分析上，對于在本文1.2節(jié)中提到的節(jié)點異構和邊異構的圖結構而言，更大的信息量和更復雜的網(wǎng)絡結構帶來了更大的挑戰(zhàn)和研究價值。Xiao等人[52]提出了一種基于注意機制的異構圖注意力網(wǎng)絡，將節(jié)點和邊的異構性表達為不同類型的語義信息，通過節(jié)點層的注意力來判斷相同屬性鄰節(jié)點的重要性，同時利用語義層的注意力選擇有意義的元路徑，節(jié)點層利用注意力來表示不同節(jié)點i，j的重要性。

圖注意力網(wǎng)絡的研究還集中在圖像語義推理、上下文推理等方面。具體的，Yang等人[53]在處理通過自然語言來表示圖像中的描述對象的問題時，通過抽取圖像中對象之間的語義關系建立關聯(lián)圖結構，借助動態(tài)圖注意力網(wǎng)絡D GA來實現(xiàn)更好的語義推理能力。

3.4 圖自動編碼器

自動編碼器(autoencoder)是深度神經網(wǎng)絡中常用的一種無監(jiān)督學習方式，對于圖結構數(shù)據(jù)而言，自動編碼器可以有效處理節(jié)點表示問題。最早的圖自動編碼器是由Tian等人[[54}提出的稀疏自動編碼器SAE，通過將圖結構的鄰接矩陣表示為原始節(jié)點特征，利用自動編碼器將其降低成低維的節(jié)點表示。其中稀疏自動編碼的問題被轉化為反向傳播的最優(yōu)解問題，即最小化原始傳輸矩陣和重建矩陣之間的最優(yōu)解問題。在結構深度網(wǎng)絡嵌入[ass}中，也將損失函數(shù)表達為鄰接矩陣的形式，證明了兩個具有相似鄰節(jié)點的節(jié)點有相似的潛在特征表示。

結構深度網(wǎng)絡嵌入引入了類似拉普拉斯特征映射來替代目標函數(shù)。變分圖自動編碼器(VGAE) [56]將卷積神經網(wǎng)絡應用到圖自動編碼器結構，對于非概率變體的圖自動編碼器，定義由隨機隱藏變量zi組成的矩陣Z，那么編碼器可以表示為Z = GCN(X,A)。結合結構深度網(wǎng)絡嵌入的方法，Zhu等人[57]提出了利用高斯分布來進行節(jié)點表示的方法，并選擇EM距離(Wasserstein distance) Eij作為目標損失函數(shù)，能夠有效地反應他們之間的距離信息特征。

3.5 時空圖神經網(wǎng)絡

時空圖神經網(wǎng)絡作為一種引入了時間序列特征的屬性圖網(wǎng)絡，可以同時獲取圖結構中時間和空間域的特征信息，每一個節(jié)點的特征都會隨著時間的變化而變化。這里我們主要討論在空間域采用圖卷積來提取空間特征依賴的時空圖神經網(wǎng)絡結構，時域特征的獲取方法主要分為傳統(tǒng)卷積網(wǎng)絡、門控循環(huán)網(wǎng)絡和圖卷積網(wǎng)絡三種方法。圖3中展示了圖卷積神經網(wǎng)絡、圖自動編碼器(以變分圖卷積自動編碼器為例)和時空圖神經網(wǎng)絡(以1D-CNN+GCN結構為例)的網(wǎng)絡結構對比，三種結構的構建基礎都是圖卷積計算單元。

3.6 圖嵌入

對于圖結構的數(shù)據(jù)而言，每一個節(jié)點和邊對于深度神經網(wǎng)絡而言都是不規(guī)則的抽象的數(shù)據(jù)，而通過圖嵌入(Graph Embedding)方法對節(jié)點和邊賦予數(shù)值張量，就可以將圖結構類比于原本深度神經網(wǎng)絡所處理的圖像數(shù)據(jù)，賦予的數(shù)值就如同圖像中像素數(shù)量和像素對應的值。在實現(xiàn)圖嵌入的算法中，最為基礎的算法就是深度隨機游走網(wǎng)絡[fill，將語言模型語義理解的任務文本分詞后得到詞視為圖結構中的節(jié)點，而連接節(jié)點的邊則是通過隨機游走實現(xiàn)。

每一次隨機游走所連接的節(jié)點形成的路徑就是由經過單詞所構成的隨機句子，這樣的隨機圖結構網(wǎng)絡可以通過N維矩陣的形式表示出來。在如深度隨機游走網(wǎng)絡一類的隨機游走網(wǎng)絡中，其隨機游走的長度往往是需要人為確認的超參數(shù)，為了解決這一問題，Abu-El-Haij a等人[62]基于深度學習的理念，提出了基于反向傳播的可學習超參數(shù)，并引入了基于轉移矩陣冪級數(shù)的圖注意力網(wǎng)絡結構。通過對上層目標函數(shù)的分析來優(yōu)化超參數(shù)的選擇，從而實現(xiàn)了超參的可學習性。

現(xiàn)階段的空間圖卷積神經網(wǎng)絡受限于網(wǎng)絡復雜度和節(jié)點表示的效果，往往只能用于處理同構圖的問題[15]。直接將異構的關系抽象為同構圖后會損失較多的特征信息。對于屬性多元異構網(wǎng)絡嵌入Chen等人提出的HGR[63]模型有效地提取了視頻文本匹配任務中圖數(shù)據(jù)的全局和局部特征，并且應用在抽象場景圖中。

表3中從網(wǎng)絡結構和應用場景的優(yōu)勢方向，具體對圖神經網(wǎng)絡結構研究進行了分析和對比。

04 圖神經網(wǎng)絡的擴展

接下來在我們將重點介紹五類基于圖神經網(wǎng)絡的延伸應用的模型結構：圖生成和圖對抗網(wǎng)絡、圖強化學習、圖遷移學習、神經任務圖和基于圖神經網(wǎng)絡的零樣本學習。

4.1 圖生成和圖對抗網(wǎng)絡

圖生成網(wǎng)絡的目標是基于一組可觀察圖來生成圖。其中的很多方法都是領域特定的。例如，在分子圖生成方面，一些研究將分子圖的表征建模為字符串[64-65]。在自然語言處理中，生成語義圖或知識圖通常需要一個給定的句子[66-67]。最近，研究人員又提出了一些通用方法，主要有兩個方向:其一是將生成過程看成節(jié)點或邊的形成[68]，而另一些則使用生成對抗訓練[69]。該領域的方法主要使用圖卷積神經網(wǎng)絡作為構造塊。圖信息在風險管理領域很重要，可以有效地判斷兩個圖G和G’在分類語義下是否相等。這里選擇節(jié)點只需要o(E)復雜度，而選擇邊需要o (E2)的計算復雜度。

4.2 圖強化學習

在強化學習中，學習控制問題通常采用馬爾可夫決策過程MDP，用于估計某些政策的預期長期回報。根據(jù)圖中節(jié)點所表述的決策狀態(tài)，利用轉移概率矩陣來表示相似性矩陣。這里通過使用可學習的表示來實現(xiàn)線性逼近值函數(shù)，它們近似值函數(shù)為狀態(tài)圖上第一個拉普拉斯特征映射的線性組合。

Donnat等人[71]提出的方法采用不同的方法來學習結構節(jié)點嵌入。它基于以每個節(jié)點為中心的譜圖小波的擴散來學習節(jié)點表示。圖強化學習模型[72]是在上文提到的RPI是由表示學習階段，利用原始數(shù)據(jù)集構建無向加權圖預定義的。從有限數(shù)量的樣本構造圖結構，其派生的原始值函數(shù)并不一定能夠反映基礎狀態(tài)空間?？梢酝ㄟ^函數(shù)來測量圖函數(shù)的全局平滑度。當來自平滑函數(shù)的值二vi，vj駐留在兩個連接良好的節(jié)點上，即wij很大時，則預期它們具有小的距離，即表示圖函數(shù)具有更好的平滑度。

4.3 圖遷移學習

遷移學習是運用已有知識對不同但相關領域問題進行求解的一種機器學習方法。BOSCallll等人[73]提出的局部SCNN模型方法可以提取可變形狀的屬性。Bruna等人[ 10]提出圖卷積結構的則是廣義SCNN模型圖遷移學習框架的一個關鍵組成部分，它從信號處理領域借用了傅立葉變換概念，以便將網(wǎng)格域中的CNN應用于圖結構域。

Lee等人[74}提出的圖遷移學習的方法由五個步驟組成，其中前三個步驟是根據(jù)輸入生成圖，并從圖結構中識別獨特的結構特征。最后兩步是基于學習特征和圖相似性應用遷移學習來進行推理。Pan和Yang[75]提出在遷移學習環(huán)境中的域由特征空間X和概率分布P(X)組成，對給定域都可以通過任務來表示具有標簽的空間Y和訓練數(shù)據(jù)預測函數(shù)f (')。這里遷移圖GS中學習到的內在幾何信息，在兩個圖域具有相似性結構的條件下，可以通過快速建立遷移學習T模型，利用來自異構數(shù)據(jù)集的圖的譜特征，大幅提升了學習效率，最大限度地減少因新任務缺乏數(shù)據(jù)和不完善的結構信息而導致的問題。

4.4 神經任務圖

對于任務圖(Task Graph)}而言，其通過表示任務的組成與時序來有效地執(zhí)行任務。而神經任務圖網(wǎng)絡(Neural Task Graph)]將任務圖與神經網(wǎng)絡相結合。能夠更加高效的進行任務調度與學習。

通過視覺模擬學習方法，神經任務圖網(wǎng)絡將任務組合結合到中間任務的表示和策略中，在涉及多種任務，如照片渲染的模擬環(huán)境和現(xiàn)實世界的視頻數(shù)據(jù)集中，神經任務圖的表現(xiàn)比非結構化表示的方法以及人工設計的分層結構方法的效果更好。神經任務圖顯著提高了復雜任務的數(shù)據(jù)效率，并通過復合性來實現(xiàn)視頻到任務的直接模仿。使用數(shù)據(jù)驅動的任務結構，神經任務圖比學習非結構化任務表示的方法和使用強層次結構監(jiān)督的方法好得多。

4.5 零樣本學習圖網(wǎng)絡

圖神經網(wǎng)絡同樣在零樣本學習領域的圖像和視頻分類問題的領域有著非常重要的可應用性，其通過借助圖結構中節(jié)點之間的強關聯(lián)性，可以有效地泛化缺乏樣本導致情況下需要生成新的分類的問題?；谥R圖的零樣本學習是利用現(xiàn)有的知識庫或者知識圖譜中結構化的關系信息，在未知任何樣本數(shù)據(jù)的情況下，來推理學習解決分類的問題。Wang等人[78]提出的基于圖卷積神經網(wǎng)絡的零樣本圖像分類方法通過圖卷積神經網(wǎng)絡來處理未知權重信息的知識圖，當預測未知的分類實體，基于原始標準答案的分類結果可以通過簡單的均方差損失函數(shù)來實現(xiàn)。對于圖神經網(wǎng)絡而言，在解決零樣本學習問題的過程中，當知識傳播的層數(shù)較高時會造成處理效率的降低。Lee等人[79]則是提出了對于同時預測多個未知標簽的的零樣本學習方法，有效地解決了多分類的問題。

表4中對五種衍生圖神經網(wǎng)絡的研究工作進行了簡要的概述和總結。

05 圖神經網(wǎng)絡的應用方向

圖神經網(wǎng)絡在不同的任務和所處理的時間、空間、或頻譜域中，都具有廣泛應用。每類圖神經網(wǎng)絡都有廣泛的應用，包括節(jié)點分類，節(jié)點表示學習，圖分類，圖生成和時空預測，圖神經網(wǎng)絡也應用于節(jié)點聚類，鏈接預測等。我們將圖神經網(wǎng)絡的應用主要分為文本處理、圖像處理、推薦系統(tǒng)、知識圖譜、生物分子圖、動態(tài)問題處理六個方向，具體的內容如表5所示。

5.1 圖神經網(wǎng)絡的文本應用

對于文本向量化表示而言，圖神經網(wǎng)絡可以對句子和詞級別的文本進行處理，文獻[25]通過密集圖傳播模塊來實現(xiàn)距離較遠的文本節(jié)點的關聯(lián)關系表示。文獻[61-62]則都是通過圖嵌入的方式，來實現(xiàn)節(jié)點的向量化表示，用于文本詞向量和句向量的推理。

文本分類領域，文獻[80]利用基于雙向圖長短記憶網(wǎng)絡，實現(xiàn)了每個文本詞向量的雙向狀態(tài)表示，從而達到了更好文本分類效果。文獻[81]通過遞歸正則化的方式，更有效的獲取非連續(xù)的和長距離語義。

圖神經網(wǎng)絡也可以應用于文本的序列標注。對于文本圖結構的詞節(jié)點而言，每個節(jié)點的序列生成可以通過圖生成網(wǎng)絡的方式來實現(xiàn)，文獻[79]提出了節(jié)點對象強化的圖生成網(wǎng)絡OR-GAN的方式來進行序列生成。文獻[82]利用圖長短記憶網(wǎng)絡可以利用句法信息中文本節(jié)點間的關聯(lián)關系進行建模，得到每個詞節(jié)點的潛在特征用于序列標注。

關系推理是指從復雜的語義信息中提取出文字節(jié)點之間關聯(lián)關系的相關研究。文獻[19}提出了通過關系圖卷積R-GCN的方法來完成文實體間之間關系的抽取和屬性分類。文獻[46]利用圖長短記憶網(wǎng)絡提出了文本序列中跨多個句子N元關系的方法。關系推理則是通過上下文中文本實體之間的關系進行任務推理。

5.2 圖神經網(wǎng)絡的圖像應用

在圖像分類的任務中，零樣本和少樣本學習的任務往往需要借助知識圖譜的先驗知識來提升識別效果。圖神經網(wǎng)絡有效提升知識圖譜的推理效率。文獻[17]中通過深度圖傳播的方法將異構圖結構用于知識推理，利用中間節(jié)點的特征信息來優(yōu)化知識的稀疏度。文獻[83]則是借助圖神經網(wǎng)絡將少樣本學習的任務轉化為可以端到端訓練的監(jiān)督學習任務。

5.3 圖神經網(wǎng)絡的系統(tǒng)應用

對于推薦系統(tǒng)而言，用戶與項目的關系可以構成二部圖，用戶與用戶之間可以構成社交網(wǎng)絡，項目與項目則可以構建知識圖譜和異構圖，通過圖神經網(wǎng)絡可以為用戶推理出商品的重要性。文獻[74]利用基于上下文的圖自注意力網(wǎng)絡實現(xiàn)了高性能的會話推薦。

如何構建和提升知識圖譜的應用效果一直是圖領域備受關注的研究方向。文獻[23]利用知識圖譜實現(xiàn)了基于知識遷移的圖小樣本學習方法。文獻[78-79]都是通過知識圖譜的推理來實現(xiàn)和完成圖零樣本學習的任務。文獻[83]則是介紹了如何挖掘知識圖譜實現(xiàn)大規(guī)模企業(yè)級應用實踐。

作為生物學的研究領域，分子的構成是天然的圖結構。文獻[20]利用端到端的圖卷積網(wǎng)絡實現(xiàn)了圓形指紋的分子特征提取方法。文獻[39]則是進一步將圖卷積方法應用到了無向圖先分子結構領域。文獻[69]提出了基于圖生成網(wǎng)絡方法的分子圖生成方法，可以有效模擬化學分子的合成。

5.4 圖神經網(wǎng)絡的動作檢測應用

通過視頻序列來實現(xiàn)任務預測是時序圖領域的重要應用場景之一。文獻[77}實現(xiàn)了基于共扼任務圖結構的策略生成方法，實現(xiàn)了基于給定的演示視頻推理完成未知的任務。文獻[85]提出了視覺空間注意力機制的圖卷積方法來完成視覺理解任務中人與對象交互定位HOI的任務。文獻[21]通過時空圖神經網(wǎng)絡實現(xiàn)了基于骨節(jié)運動的動作檢測。

06 未來發(fā)展與研究

隨著圖神經網(wǎng)絡的研究和應用不斷深入，其發(fā)展方向主要包括網(wǎng)絡結構優(yōu)化，理論可解釋性強化·適用的數(shù)據(jù)結構豐富化的趨勢，具體的未來發(fā)展方向可以歸納如下：

1)傳統(tǒng)深度學習相比，圖神經網(wǎng)絡的研究和應用領域有很大的拓展空間，對于諸如知識圖譜、推薦系統(tǒng)等大規(guī)模的系統(tǒng)性應用中，具備了遷移性·可強化性等特點，就可以對動態(tài)任務具有更加泛化的處理能力，實現(xiàn)將圖神經網(wǎng)絡與現(xiàn)階段的深度學習更好的關聯(lián)，將圖結構數(shù)據(jù)加以更加完善的應用。

2)深度神經網(wǎng)絡的結構本質上是對數(shù)據(jù)不斷提取高維的抽象特征，圖結構的關聯(lián)性特征與傳統(tǒng)貝葉斯因果關系網(wǎng)絡相結合，有望實現(xiàn)對深度學習神經網(wǎng)絡結構可解釋性的證明。

3)現(xiàn)階段的圖神經網(wǎng)絡結構受限于關系型結構在高維空間特征可解釋性，提升圖網(wǎng)絡深度的研究很少，而深度學習的巨大成功得益于其深層的網(wǎng)絡結構能提取更高維度的特征信息。作為對特征信息在結構上的抽象概括，圖網(wǎng)絡也需要在節(jié)點結構關系創(chuàng)新的同時探索加深網(wǎng)絡結構的方式，以實現(xiàn)對于高維特征信息提取的能力，提高網(wǎng)絡性能。

4)增加圖神經網(wǎng)絡的感受域是有效提升圖神經網(wǎng)絡推理性能的研究方向。神經元的感受野可以讓網(wǎng)絡輸出的特征值更好地歸納局部和全局的特征，從而實現(xiàn)更快的學習收斂速度和更好的網(wǎng)絡預測效果。如何將這一特性引入圖神經網(wǎng)絡并獲得優(yōu)化的效果，也是需要探索的前沿領域之一。

5)在網(wǎng)絡節(jié)點引入更多種類的數(shù)據(jù)類型，突破節(jié)點連接的先驗信息來決定圖神經網(wǎng)絡的最終學習效果。更廣泛的利用統(tǒng)計定性、離散或概率型數(shù)據(jù)，如定性、離散或概率型的數(shù)據(jù)，用圖的形式引入到圖網(wǎng)絡中，可以增強圖網(wǎng)絡模型對真實數(shù)據(jù)分布的刻畫能力。

6)提升圖神經網(wǎng)絡動態(tài)性和異質性，對于更多的關于復雜圖結構的異質圖和結合時序性動態(tài)圖具有更加豐富的應用場景。

07 結束語

本文以綜述和探索的角度梳理了圖神經網(wǎng)絡的發(fā)展歷程，從圖數(shù)據(jù)的結構對圖結構進行了分類介紹，同時從信息聚合方法的不同，深入剖析了六種等不同圖神經網(wǎng)絡的差異和優(yōu)劣。分析討論了圖神經網(wǎng)絡與深度學習領域的研究方向相結合的五類研究方向以及優(yōu)缺點，并對不同圖神經網(wǎng)絡技術的應用場景進行了分析介紹。根據(jù)現(xiàn)階段圖神經網(wǎng)絡的發(fā)展，從網(wǎng)絡結構的深度和復雜度、對異質圖的高校分析和處理以及利用節(jié)點和邊的信息傳遞實現(xiàn)神經網(wǎng)絡的可解釋等不同的研究和討論，未來提升圖神經網(wǎng)絡的算法性能，增強可解釋性以及拓寬應用領域將是非常重要的研究領域和方向。

08 總結

本篇文章概述了圖神經網(wǎng)絡的發(fā)展過程，對不同結構的圖神經網(wǎng)絡進行了介紹，圖卷積、圖注意力機制等，圖卷積網(wǎng)絡又有空間和頻域兩種。并介紹了幾種圖神經網(wǎng)絡算法的優(yōu)劣和應用場景。在我們的工作里，可以將圖神經網(wǎng)絡和異常檢測聯(lián)系在一起，制作一些圖結構的網(wǎng)絡流量數(shù)據(jù)，這些流量數(shù)據(jù)以主機為節(jié)點，如果有通信則視為有連接，但是節(jié)點包含哪些特征需要進一步研究。

版權申明：內容來源網(wǎng)絡，版權歸原創(chuàng)者所有。除非無法確認，都會標明作者及出處，如有侵權，煩請告知，我們會立即刪除并致歉。謝謝!

作者：王健宗等
https://wwwihcm/people/euu-lin-jun-7

原文鏈接：
https://kns.cnki.net/kcms/detail/31.
1289.tp.20201123.1641.002.html

編輯：黃繼彥
校對：林亦霖