題目： 在圖卷積網(wǎng)絡(luò)中超越低頻信息

會議： AAAI 2021

論文鏈接： https://arxiv.org/abs/2101.00797

圖神經(jīng)網(wǎng)絡(luò)已被證明在各種與網(wǎng)絡(luò)相關(guān)的任務(wù)中都是有效的?，F(xiàn)有的大多數(shù)圖神經(jīng)網(wǎng)絡(luò)通常都利用節(jié)點特征中的低頻信號，這引起了一個基本問題：在實際應(yīng)用中，我們只需要低頻信號嗎？在本文中，我們首先進(jìn)行了一項實驗研究，評估了低頻和高頻信號的作用，結(jié)果清楚地表明，僅使用低頻信號不能在不同情況下學(xué)習(xí)到有效的節(jié)點表示。如何能夠自適應(yīng)地學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)中低頻信息以外的更多信息？一個好的回答可以幫助圖神經(jīng)網(wǎng)絡(luò)增強適應(yīng)性。為了解決這一挑戰(zhàn)，并提出了一種具有自門控機制的新穎的頻率自適應(yīng)圖卷積網(wǎng)絡(luò)(Frequency Adaptation Graph Convolutional Networks, FAGCN)，該方法可以在消息傳遞過程中自適應(yīng)地集成不同頻率的信號。為了更深入地了解，我們從理論上分析了低頻信號和高頻信號在學(xué)習(xí)節(jié)點表示中的作用，這進(jìn)一步解釋了為什么頻率自適應(yīng)圖卷積網(wǎng)絡(luò)可以在不同類型的網(wǎng)絡(luò)上表現(xiàn)良好。在六個真實世界的網(wǎng)絡(luò)上進(jìn)行的大量實驗證明，頻率自適應(yīng)圖卷積網(wǎng)絡(luò)不僅可以緩解過度平滑的問題，而且還具有優(yōu)于最新技術(shù)的優(yōu)勢。

1 引言

圖神經(jīng)網(wǎng)絡(luò)通過聚集來自鄰居的信息來更新節(jié)點表示，這可以看作是低通濾波器的一種特殊形式。最近的一些研究表明信號的平滑性，即低頻信息，是圖神經(jīng)網(wǎng)絡(luò)成功的關(guān)鍵。然而，我們所需要的只是低頻信息嗎？其他信息在圖神經(jīng)網(wǎng)絡(luò)中扮演什么角色？這是一個基礎(chǔ)問題，啟發(fā)我們重新思考圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)節(jié)點表示時是否能夠全面利用節(jié)點特征信息。

圖神經(jīng)網(wǎng)絡(luò)中的低通濾波器主要保留了節(jié)點特征的共性，這不可避免地忽略了節(jié)點特征的差異，使得相連節(jié)點的表示變得相似。由于低頻信息的平滑性，這種機制可能適用于同配網(wǎng)絡(luò)，即同一類的節(jié)點傾向于彼此連接。然而，現(xiàn)實世界中的網(wǎng)絡(luò)并不總是同配的，有時是異配的，即不同類的節(jié)點往往相互連接。例如，在蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò)中，化學(xué)反應(yīng)經(jīng)常發(fā)生在不同類型的蛋白質(zhì)之間。如果我們通過使用低通濾波器強迫相鄰節(jié)點的表征相似，顯然，性能將受到很大的阻礙。

為了為上述分析提供更多的證據(jù)，我們以低頻和高頻信號為例，通過實驗來評估它們的作用（詳情見第2節(jié)）。結(jié)果表明，這兩種方法都有助于學(xué)習(xí)節(jié)點表征。具體地說，我們發(fā)現(xiàn)當(dāng)一個網(wǎng)絡(luò)表現(xiàn)出異配性時，高頻信號的表現(xiàn)要比低頻信號好得多。這意味著，高頻信號在圖神經(jīng)網(wǎng)絡(luò)中不總是無用的；而低頻信號對于復(fù)雜的網(wǎng)絡(luò)來說也不是最優(yōu)的。既然圖神經(jīng)網(wǎng)絡(luò)中低頻信息的缺點已經(jīng)被確認(rèn)，一個自然的問題就是如何在圖神經(jīng)網(wǎng)絡(luò)中使用不同頻率的信號，同時，讓圖神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)不同類型的網(wǎng)絡(luò)？

我們設(shè)計了一種通用的頻率自適應(yīng)圖卷積網(wǎng)絡(luò)，用于自適應(yīng)地聚合來自鄰居或自身的不同信號。我們首先利用圖信號理論，形式化的定義了增強型低通和高通濾波器，用來將低頻和高頻信號從原始特征中分離出來。在此基礎(chǔ)上，設(shè)計了一種在不需要知道網(wǎng)絡(luò)類型的情況下，能夠自適應(yīng)融合低頻信號、高頻信號和原始特征的自門控機制。理論分析表明，頻率自適應(yīng)圖卷積網(wǎng)絡(luò)是現(xiàn)有圖神經(jīng)網(wǎng)絡(luò)的一個推廣，它能夠自由地縮短或擴大節(jié)點表示之間的距離，這進(jìn)一步解釋了為什么頻率自適應(yīng)圖卷積網(wǎng)絡(luò)能夠在不同類型網(wǎng)絡(luò)上的表現(xiàn)良好。

2 探索研究

在本節(jié)中，我們以低頻和高頻信號為例，分析它們在學(xué)習(xí)節(jié)點表示中的作用。具體來說，我們生成了一系列合成網(wǎng)絡(luò)，其特點是類內(nèi)連接(intra-connection)的概率固定為0.05，同時類間連接(inter-connection)的概率逐漸從0.01增大到0.1。當(dāng)類間連接的概率較小時，網(wǎng)絡(luò)表現(xiàn)出同配性；隨著類間連接概率的增加，網(wǎng)絡(luò)逐漸呈現(xiàn)出異配性。然后我們測試了低頻和高頻信號的節(jié)點分類性能的變化情況，具體如下：

圖(a)說明了隨著類間連接概率的增加，低頻信號的準(zhǔn)確度降低，而高頻信號的準(zhǔn)確度逐漸提高。這說明低頻和高頻信號都有助于學(xué)習(xí)節(jié)點表示。當(dāng)類間連接概率增大時，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)失敗的原因，如圖(b)所示，它們只聚合來自相鄰節(jié)點的低頻信號，使得節(jié)點表示變得相似，而不管節(jié)點是否屬于同一類，從而失去了區(qū)分性。我們提出的頻率自適應(yīng)圖卷積網(wǎng)絡(luò)結(jié)合了低通和高通濾波器的優(yōu)點，可以將同類鄰居的低頻信號和不同類鄰居的高頻信號進(jìn)行聚合，如圖(c)所示，從而在每個合成網(wǎng)絡(luò)上都顯示出最佳的性能。

3 方法

在介紹模型之前，我們首先比較已有圖神經(jīng)網(wǎng)絡(luò)和頻率自適應(yīng)圖卷積網(wǎng)絡(luò)在聚合過程上的區(qū)別。下圖左側(cè)展示了已有的圖神經(jīng)網(wǎng)絡(luò)在聚合中考慮了每個節(jié)點的重要性；右側(cè)是頻率自適應(yīng)圖卷積網(wǎng)絡(luò)，它利用了兩個系數(shù) 和 來分別聚合鄰居的低頻和高頻信息。

為了充分利用節(jié)點特征中的低頻和高頻信號，我們設(shè)計了增強低通濾波器和增強高通濾波器，將低頻和高頻信號從節(jié)點特征中分離出來：

的卷積核是，重寫為；的卷積核是。其頻率響應(yīng)濾波函數(shù)如圖所示：

可以看到，對于二階低通濾波器，如圖(b)所示，當(dāng)時，其濾波器響應(yīng)函數(shù)，因此會為低頻信號低通一個更強的增益；當(dāng)時，，因此會抑制高頻信號。二階高通濾波器，如圖(d)所示，會為高頻信號提供更強的增益，同時抑制低頻信號。

將濾波器和，與特征矩陣相乘，我們可以得到每個節(jié)點的低頻和高頻信息。然后利用一個門控機制來控制信息聚合過程中低頻和高頻信號的占比：

但是上式有兩個缺點：一是低通濾波器和高通濾波器都依賴于拉普拉斯矩陣進(jìn)行定義，所以只能做transductive模型；二是低頻和高頻信息的提取需要濾波器和特征矩陣相乘，計算開銷太大。為了解決這兩個問題，我們設(shè)計了空間域上的頻率自適應(yīng)網(wǎng)絡(luò)，該模型既有歸納和批處理的能力，又有很好的可解釋性：

右式可以分為兩部分：是節(jié)點自身的特征；是節(jié)點鄰居的特征，則代表了鄰居節(jié)點的權(quán)重。我們可以發(fā)現(xiàn)，如果假設(shè)低頻和高頻的比例和為1，即，則我們?nèi)绻?span style="cursor:pointer;">，當(dāng)時，低頻信號會主導(dǎo)節(jié)點表征；而時，高頻信號的作用較大。此外，我們發(fā)現(xiàn)，（即聚合時邊權(quán)重為正）代表了節(jié)點和其鄰居的和；（即聚合時邊權(quán)重為負(fù)）代表了節(jié)點和其鄰居的差，在第4節(jié)我們會進(jìn)一步分析邊權(quán)重正負(fù)所帶來的影響。最后我們用一個簡單的方法來學(xué)習(xí)邊權(quán)重：

tanh激活函數(shù)可以保證邊權(quán)重在之間。最后我們的模型框架可以形式化為以下公式：

4 理論分析

我們進(jìn)一步分析了邊權(quán)重正負(fù)會給學(xué)習(xí)節(jié)點表征帶來什么樣的影響。具體來說，如果用正權(quán)重聚合鄰居信息，則節(jié)點和其鄰居表征之間的距離會縮?。?span style="cursor:pointer;">）；而用負(fù)權(quán)重聚合會使得節(jié)點和其鄰居表征之間的距離變大（）。

5 實驗

同配網(wǎng)絡(luò)節(jié)點分類實驗：

異配網(wǎng)絡(luò)節(jié)點分類實驗：

過平滑實驗：最后我們還分析了FAGCN對于緩解過平滑也有一定的幫助，原因有兩個：一是在第4節(jié)中，我們展示了負(fù)權(quán)重可以防止節(jié)點表示過于相似；另一種是我們將原始特征（包含低頻和高頻信息）添加到每一層，這進(jìn)一步防止節(jié)點表示變得難以區(qū)分。