GNN教程：圖神經(jīng)網(wǎng)絡基礎知識！

系列規(guī)劃

本文為GNN教程 【第一章 基礎：三劍客】的第一篇文章 【01 基礎知識】，下圖展示了我們在這一系列的規(guī)劃，接下來我們將會介紹圖神經(jīng)網(wǎng)絡的三個基本模型，使大家對他們有所了解。

基礎知識

圖卷積神經(jīng)網(wǎng)絡(Graph Convolutional Network)作為最近幾年興起的一種基于圖結構的廣義神經(jīng)網(wǎng)絡結構，因為其獨特的計算能力，而受到廣泛學者的關注與研究。傳統(tǒng)深度學習模型 LSTM 和 CNN 在歐幾里得空間數(shù)據(jù)(語言，圖像，視頻等)上取得了不錯的成績，但是在對非歐幾里得空間數(shù)據(jù)(eg：社交網(wǎng)絡、信息網(wǎng)絡等)進行處理上卻存在一定的局限性。

針對該問題，研究者們引入了圖論中抽象意義上的圖(Graph)來表示非歐幾里得結構化數(shù)據(jù)。并利用圖卷積網(wǎng)絡對來圖(Graph)數(shù)據(jù)進行處理，以深入發(fā)掘其特征和規(guī)律。

本文首先分別介紹了歐幾里得結構化數(shù)據(jù)和非歐幾里得結構化數(shù)據(jù)特點；然后，針對非歐幾里得結構化數(shù)據(jù)的表示問題，引入了圖論中抽象意義上的圖(Graph)概念，并對圖(Graph)中一些表示形式進行介紹；最后，通過一個簡單的例子，對圖(Graph)數(shù)據(jù)的應用進行介紹。以幫助讀者加深對圖(Graph)的理解。

歐幾里得結構化數(shù)據(jù)

1. 歐幾里得空間

歐幾里德空間(Euclidean Space)，簡稱為歐氏空間(也可以稱為平直空間)，在數(shù)學中是對歐幾里德所研究的2維和3維空間的一般化。這個一般化把歐幾里德對于距離、以及相關的概念長度和角度，轉(zhuǎn)換成任意數(shù)維的坐標系。如下圖所示。

圖 a 表示二維歐幾里得空間，圖 b 表示三維歐幾里得空間。

2. 常見的歐幾里得結構化數(shù)據(jù)

將數(shù)據(jù)轉(zhuǎn)換到歐幾里得空間中，所得到的數(shù)據(jù)稱為歐幾里得結構化數(shù)據(jù)。

常見的歐幾里得結構化數(shù)據(jù)主要包含：

• 1D：聲音，時間序列等；
• 2D：圖像等；
• 3D：視頻，高光譜圖像等；

非歐幾里得結構化數(shù)據(jù)

1. 非歐幾里得空間

然而，科學研究中并不是所有的數(shù)據(jù)都能夠被轉(zhuǎn)換到歐幾里得空間中(eg：社交網(wǎng)絡、信息網(wǎng)絡等)，對于不能進行歐幾里得結構化的數(shù)據(jù)，我們將其稱為非歐幾里得結構化數(shù)據(jù)。

2. 非常見的歐幾里得結構化數(shù)據(jù)

常見的非歐幾里得結構化數(shù)據(jù)主要包含：

• 1D：社交網(wǎng)絡(eg：Facebook，Twitter等)等；
• 2D：生物網(wǎng)絡(基因，分子，大腦連接)等；
• 3D：基礎設施網(wǎng)絡(eg：能源，交通，互聯(lián)網(wǎng)，通信等)等；

圖(Graph)

1. 圖(Graph)的引入

針對非歐幾里得結構化數(shù)據(jù)表示問題，研究者們引入了圖論中抽象意義上的圖(Graph)來表示非歐幾里得結構化數(shù)據(jù)。

2. 圖(Graph)的定義

圖(Graph)定義形式為，其結構如下圖所示：

一個有標號的簡單圖，點集為：

邊集為：

另外， 表示頂點或節(jié)點, 其中表示節(jié)點的個數(shù)。

3. 圖(Graph)的表示形式

3.1 鄰接矩陣( Adjacency matrix )

鄰接矩陣是一個元素為bool值或權值的矩陣，該矩陣的定義如下：

若圖中存在一條連接頂點和的邊，則,否則為0。當圖是稠密時，鄰接矩陣是比較合適的表達方法。如下圖所示：

+---+---+---+---+---+---+---+
|   | 1 | 2 | 3 | 4 | 5 | 6 |
+---+---+---+---+---+---+---+
| 1 | 0 | 1 | 0 | 0 | 1 | 0 |
+---+---+---+---+---+---+---+
| 2 | 1 | 0 | 1 | 0 | 0 | 0 |
+---+---+---+---+---+---+---+
| 3 | 0 | 1 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+
| 4 | 0 | 0 | 1 | 0 | 1 | 1 |
+---+---+---+---+---+---+---+
| 5 | 1 | 0 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+
| 6 | 0 | 0 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+

上圖的鄰接矩陣表示。

3.2 度矩陣( Degree matrix )

度矩陣( Degree matrix)是一個? 為節(jié)點的度的對角矩陣，其定義如下所示：

+---+---+---+---+---+---+---+
|   | 1 | 2 | 3 | 4 | 5 | 6 |
+---+---+---+---+---+---+---+
| 1 | 2 |   |   |   |   |   |
+---+---+---+---+---+---+---+
| 2 |   | 3 |   |   |   |   |
+---+---+---+---+---+---+---+
| 3 |   |   | 2 |   |   |   |
+---+---+---+---+---+---+---+
| 4 |   |   |   | 3 |   |   |
+---+---+---+---+---+---+---+
| 5 |   |   |   |   | 3 |   |
+---+---+---+---+---+---+---+
| 6 |   |   |   |   |   | 1 |
+---+---+---+---+---+---+---+

上圖的度矩陣表示。

3.3 鄰域( Neighborhood )

鄰域( Neighborhood) 表示與某個頂點有邊連接的點集，其定義如下所示：

例如，節(jié)點的領域為。

圖上的學習任務

介紹完圖的基本術語之后，我們來看看有了圖結構數(shù)據(jù)，我們可以進行哪些機器學習的任務

• 圖節(jié)點分類任務：圖中每個節(jié)點都有對應的特征，當我們已知一些節(jié)點的類別的時候，可以設計分類任務針對未知節(jié)點進行分類。我們接下來要介紹的 GCN、GraphSAGE、GAT模型都是對圖上的節(jié)點分類。
• 圖邊結構預測任務：圖中的節(jié)點和節(jié)點之間的邊關系可能在輸入數(shù)據(jù)中能夠采集到，而有些隱藏的邊需要我們挖掘出來，這類任務就是對邊的預測任務，也就是對節(jié)點和節(jié)點之間關系的預測。
• 圖的分類：對于整個圖來說，我們也可以對圖分類，圖分類又稱為圖的同構問題，基本思路是將圖中節(jié)點的特征聚合起來作為圖的特征，再進行分類。

圖數(shù)據(jù)應用舉例

對于一個簡單的電商的圖，其包含賣家，商品和用戶三個關鍵節(jié)點，其中，商品節(jié)點關聯(lián)商品類別節(jié)點，用戶節(jié)點關聯(lián)注冊 IP 節(jié)點和 注冊地址節(jié)點。當用戶在購買商品時，用戶節(jié)點和商品節(jié)點就會關聯(lián)交易節(jié)點，同時，交易節(jié)點也會關聯(lián)用戶下單時所對應的 IP 節(jié)點以及收獲地址節(jié)點，對應的圖結構如下圖所示。

從圖數(shù)據(jù)中節(jié)點間的關系以及特征，我們可以進行反欺詐以及商品推薦的操作。

1. 節(jié)點分類—反欺詐：因為圖中每個節(jié)點都擁有自己的特征信息。通過該特征信息，我們可以構建一個風控系統(tǒng)，如果交易節(jié)點所關聯(lián)的用戶 IP 和收貨地址與用戶注冊 IP 和注冊地址不匹配，那么系統(tǒng)將有可能認為該用戶存在欺詐風險。
2. 邊結構預測—商品推薦：圖中每個節(jié)點都具有結構信息。如果用戶頻繁購買某種類別商品或?qū)δ撤N類別商品評分較高，那么系統(tǒng)就可以認定該用戶對該類商品比較感興趣，所以就可以向該用戶推薦更多該類別的商品。

總而言之，圖數(shù)據(jù)的豐富應用價值促使更多的研究者加入圖數(shù)據(jù)的研究當中，但是對圖數(shù)據(jù)進行數(shù)據(jù)分析時，我們需要同時考慮到節(jié)點的特征信息以及結構信息。如果靠手工規(guī)則來提取，必將失去很多隱蔽和復雜的模式，那么有沒有一種方法能自動化地同時學到圖的特征信息與結構信息呢？這就是近年來興起的機器學習的一個熱點方向—圖神經(jīng)網(wǎng)絡（Graph Neural Networks）。接下來我們將以一個系列的文章介紹它們。