知識圖譜上的圖神經(jīng)網(wǎng)絡(luò)

幾乎所有早期的知識圖譜嵌入的經(jīng)典方法都是在對每個三元組打分，在實體和關(guān)系的表示中并沒有完全考慮到整幅圖的結(jié)構(gòu)。

早期，圖神經(jīng)網(wǎng)絡(luò)的方法在知識圖譜嵌入中并沒有被重視，主要由于：

• 早期的圖神經(jīng)網(wǎng)絡(luò)更多是具有同種類型節(jié)點和邊的同構(gòu)圖，對知識圖譜這樣的異構(gòu)圖關(guān)注較少。
  

• 早期的圖神經(jīng)網(wǎng)絡(luò)復(fù)雜度較高，很難擴展到知識圖譜這種大規(guī)模圖上。

隨著對圖神經(jīng)網(wǎng)絡(luò)研究的深入，越來越多的研究者開始使用更具表達力的圖神經(jīng)網(wǎng)絡(luò)對知識圖譜進行建模。

關(guān)系圖卷積網(wǎng)絡(luò)

關(guān)系圖卷積網(wǎng)絡(luò)是一個基于信息傳遞的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)。

它本質(zhì)上是對圖卷積網(wǎng)絡(luò)模型的一個擴展，在圖卷積網(wǎng)絡(luò)的基礎(chǔ)上加入了邊的信息，因此也可以被用來學(xué)習(xí)知識圖譜中的實體嵌入。

給定節(jié)點狀態(tài)  和它的鄰接節(jié)點集  （其中  表示邊上的關(guān)系），節(jié)點的表示由以下公式進行更新：

其中，  是一個用來正則化的系數(shù)。下圖展示了關(guān)系圖卷積網(wǎng)絡(luò)的節(jié)點更新過程，對于每個節(jié)點  ，它把周圍所有與之相連的關(guān)系  （即rel_1 到rel_N，區(qū)分正反方向）都表示為一個矩陣  ，加入節(jié)點更新的公式中，并且加入了自循環(huán)來保持部分自身節(jié)點的信息。

帶權(quán)重的圖卷積編碼器

結(jié)構(gòu)感知卷積網(wǎng)絡(luò)（Structure-Aware Convolutional Networks，SACN）把知識圖譜拆分為多個單關(guān)系的同構(gòu)圖，即知識圖譜中的每種關(guān)系對應(yīng)一個子圖，在最終聚合時再考慮每個關(guān)系的重要度。本質(zhì)上，結(jié)構(gòu)感知卷積網(wǎng)絡(luò)是圖卷積網(wǎng)絡(luò)和ConvE 模型的合體。它以一個帶權(quán)重的圖卷積網(wǎng)絡(luò)（Weighted Graph Convolutional Networks，WGCN）為編碼器，用一個叫作Conv-TranE 的解碼器進行解碼。

編碼器：結(jié)構(gòu)感知卷積網(wǎng)絡(luò)采用了帶權(quán)重的圖卷積網(wǎng)絡(luò)進行編碼，不同于圖卷積網(wǎng)絡(luò)，它對每個關(guān)系  在信息傳遞的每一層  賦予一個權(quán)重  。在信息傳遞的過程中，關(guān)系本身的重要性也被考慮進去了：

解碼器：Conv-TransE 模型的架構(gòu)是基于ConvE 模型的。不同的是，Conv-TransE 模型中實體和關(guān)系向量  不像ConvE 模型中那樣先轉(zhuǎn)換成二維矩陣，并且保持了TransE 模型的平移不變性，即  。它的得分函數(shù)寫成

其中，  是卷積之后得到的形式。結(jié)構(gòu)感知卷積網(wǎng)絡(luò)在ConvE 模型的基礎(chǔ)上增加了帶權(quán)重的圖卷積網(wǎng)絡(luò)的編碼，因此可以加入知識圖譜的結(jié)構(gòu)信息和實體節(jié)點自身的屬性信息，使結(jié)果得到了很大的改進。

既然已經(jīng)有了基于圖卷積網(wǎng)絡(luò)的模型，我們可以預(yù)見，一定有基于圖注意力的模型。我們以文末參考文獻為例介紹知識圖譜的圖注意力模型。類似于結(jié)構(gòu)感知卷積網(wǎng)絡(luò)，這個模型也是用圖神經(jīng)網(wǎng)絡(luò)作為編碼器，然后將一個傳統(tǒng)的知識圖譜嵌入模型作為解碼器。

具體來講，編碼器就是一個圖注意力網(wǎng)絡(luò)的擴展。它與圖注意力網(wǎng)絡(luò)不同的地方在于在計算邊的注意力權(quán)重時，除了考慮到節(jié)點的屬性，也加入了邊的信息：

其中，  ，  表示對  和  對應(yīng)的維度進行歸一化。類似于圖注意力網(wǎng)絡(luò)，我們可以加入多頭注意力來增加模型的表達能力，假設(shè)我們有M 個獨立的注意力機制，則節(jié)點的更新可以表示為

而解碼器是用之前的一個經(jīng)典模型ConvKB。對于每一個三元組  ，在上述編碼器得到它們的向量表示  之后，引入ConvKB 模型的得分函數(shù)：

其中  是第  個卷積核。

圖神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)知識圖譜嵌入的結(jié)合：CompGCN

Vashishth 等人認為在知識圖譜的信息傳遞中，應(yīng)該綜合考慮關(guān)系和節(jié)點的組合，而非將它們各自分離表示。

因此，他們在提出的CompGCN 模型中采用了傳統(tǒng)知識圖譜嵌入中的三元組關(guān)系  （其中  為一個三元組）作為要傳遞的信息，然后進行信息的聚合和節(jié)點狀態(tài)的更新。

首先，他們綜合考慮了邊的不同類型：有向邊、反向邊、自連邊，并對它們分別采用不同的投影矩陣（  ），把對應(yīng)的關(guān)系映射到向量上去，即  。然后節(jié)點的更新可以表示為

  函數(shù)與傳統(tǒng)的知識圖譜嵌入對三元組的打分方法類似，例如，可以選用以下三種不同的函數(shù)：

• 減  ，對應(yīng)TransE 模型。

• 乘  ，對應(yīng)DistMult 模型。

• 循環(huán)相關(guān)  ，對應(yīng)HolE 模型。

由于結(jié)合了知識圖譜嵌入的得分方式，又考慮了不同邊的類型，CompGCN 在基于知識圖譜完成的任務(wù)上取得了非常好的效果，在很多指標上都達到了最好。

總結(jié)

知識圖譜作為一種重要而特殊的圖結(jié)構(gòu)，在各個領(lǐng)域有著廣泛的應(yīng)用，知識圖譜的表示學(xué)習(xí)為傳統(tǒng)人工智能關(guān)注的推理、符號邏輯等提供了新的、高效的方法，而圖神經(jīng)網(wǎng)絡(luò)在這個領(lǐng)域也起到了越來越關(guān)鍵的作用。

同時，知識圖譜的特殊性和復(fù)雜性為圖神經(jīng)網(wǎng)絡(luò)提供了很多新的、待解決的問題，如可解釋性、復(fù)雜推理、可擴展性、自動構(gòu)建與動態(tài)變化。

解決這些問題，將為我們帶來新的技術(shù)推動力。

▼