圖注意力機(jī)制的類型

目前主要有三種注意力機(jī)制算法，它們分別是：學(xué)習(xí)注意力權(quán)重(Learn attention weights)，基于相似性的注意力(Similarity-based attention)，注意力引導(dǎo)的隨機(jī)游走(Attention-guided walk)。這三種注意力機(jī)制都可以用來生成鄰居的相對重要性，下文會闡述他們之間的差異。

首先我們對“圖注意力機(jī)制”做一個(gè)數(shù)學(xué)上的定義：

定義（圖注意力機(jī)制）：給定一個(gè)圖中節(jié)點(diǎn) 和的鄰居節(jié)點(diǎn)

(這里的? 和GraphSAGE博文中的? 表示一個(gè)意思)。注意力機(jī)制被定義為將中每個(gè)節(jié)點(diǎn)映射到相關(guān)性得分(relevance score)的函數(shù)

相關(guān)性得分表示該鄰居節(jié)點(diǎn)的相對重要性。滿足：

下面再來看看這三種不同的圖注意力機(jī)制的具體細(xì)節(jié)

1. 學(xué)習(xí)注意力權(quán)重

學(xué)習(xí)注意力權(quán)重的方法來自于Velickovic et al. 2018 其核心思想是利用參數(shù)矩陣學(xué)習(xí)節(jié)點(diǎn)和鄰居之間的相對重要性。

給定節(jié)點(diǎn)相應(yīng)的特征(embedding)

節(jié)點(diǎn)和節(jié)點(diǎn)注意力權(quán)重可以通過以下公式計(jì)算：

其中， 表示節(jié)點(diǎn)對節(jié)點(diǎn)的相對重要性。在實(shí)踐中，可以利用節(jié)點(diǎn)的屬性結(jié)合softmax函數(shù)來計(jì)算間的相關(guān)性。比如，GAT 中是這樣計(jì)算的：

其中， 表示一個(gè)可訓(xùn)練的參數(shù)向量, 用來學(xué)習(xí)節(jié)點(diǎn)和鄰居之間的相對重要性， 也是一個(gè)可訓(xùn)練的參數(shù)矩陣，用來對輸入特征做線性變換，表示向量拼接(concate)。

如上圖，對于一個(gè)目標(biāo)對象， 表示它和鄰居的相對重要性權(quán)重。可以根據(jù)? 和? 的 embedding? 和? 計(jì)算，比如圖中 是由? 共同計(jì)算得到的。

2. 基于相似性的注意力

上面這種方法使用一個(gè)參數(shù)向量學(xué)習(xí)節(jié)點(diǎn)和鄰居的相對重要性，其實(shí)另一個(gè)容易想到的點(diǎn)是：既然我們有節(jié)點(diǎn)的特征表示，假設(shè)和節(jié)點(diǎn)自身相像的鄰居節(jié)點(diǎn)更加重要，那么可以通過直接計(jì)算之間相似性的方法得到節(jié)點(diǎn)的相對重要性。這種方法稱為基于相似性的注意力機(jī)制，比如說論文 TheKumparampil et al. 2018 是這樣計(jì)算的：

其中， 表示可訓(xùn)練偏差(bias)，函數(shù)用來計(jì)算余弦相似度，和上一個(gè)方法類似， 是一個(gè)可訓(xùn)練的參數(shù)矩陣，用來對輸入特征做線性變換。

這個(gè)方法和上一個(gè)方法的區(qū)別在于，這個(gè)方法顯示地使用函數(shù)計(jì)算節(jié)點(diǎn)之間的相似性作為相對重要性權(quán)重，而上一個(gè)方法使用可學(xué)習(xí)的參數(shù)學(xué)習(xí)節(jié)點(diǎn)之間的相對重要性。

3. 注意力引導(dǎo)的游走法

前兩種注意力方法主要關(guān)注于選擇相關(guān)的鄰居信息，并將這些信息聚合到節(jié)點(diǎn)的embedding中。第三種注意力的方法的目的不同，我們以Lee et al. 2018 作為例子：

GAM方法在輸入圖進(jìn)行一系列的隨機(jī)游走，并且通過RNN對已訪問節(jié)點(diǎn)進(jìn)行編碼，構(gòu)建子圖embedding。時(shí)間的RNN隱藏狀態(tài)? 編碼了隨機(jī)游走中? 步訪問到的節(jié)點(diǎn)。然后，注意力機(jī)制被定義為函數(shù)?，用于將輸入的隱向量映射到一個(gè)維向量中，可以通過比較這維向量每一維的數(shù)值確定下一步需要優(yōu)先游走到哪種類型的節(jié)點(diǎn)(假設(shè)一共有種節(jié)點(diǎn)類型)。下圖做了形象的闡述：

如上圖，聚合了長度的隨機(jī)游走得到的信息，我們將該信息輸入到排序函數(shù)中，以確定各個(gè)鄰居節(jié)點(diǎn)的重要性并用于影響下一步游走。

后話

至此，圖注意力機(jī)制就講完了，還有一些細(xì)節(jié)沒有涉及，比如在 GAT論文 中討論了對一個(gè)節(jié)點(diǎn)使用多個(gè)注意力機(jī)制(multi-head attention), 在AGNN論文中分析了注意力機(jī)制是否真的有效，詳細(xì)的可以參考原論文。

參考文獻(xiàn)

[1] Attention Models in Graphs: A Survey
[2] Graph Attention Networks [3] Attention-based Graph Neural Network for Semi-supervised Learning [4] Graph Classification using Structural Attention