【圖神經(jīng)網(wǎng)絡(luò)】GCN-1（譜圖卷積）
一、Address
Spectral Networks and Deep Locally Connected Networks on Graphs
地址：https://arxiv.org/pdf/1312.6203.pdf
二、Introduction
作者提出了兩種結(jié)構(gòu)，一種是基于時域的層次聚類，并使用它們定義“局部”連接和池化
另一種是譜結(jié)構(gòu)，利用了卷積在傅里葉域中的性質(zhì)，通過找到相應(yīng)的“傅里葉”基，可以將卷積擴(kuò)展到一般的圖。
作者通過實(shí)驗證明，對于低維圖，我們可以學(xué)習(xí)到獨(dú)立于輸入大小的卷積層參數(shù)，從而得到有效的深層結(jié)構(gòu)。
三、Model
3.1 Spatial Construction
局部性
加權(quán)圖G=（Ω，W），其中Ω是大小為m的離散集，W是m×m對稱非負(fù)矩陣。
利用圖的權(quán)重定義局部性：例如，在W上定義鄰域的一種簡單方法是設(shè)置一個閾值δ>0，然后取鄰域
深度局部連接網(wǎng)絡(luò)
k代表第k個卷積層，表示第k層的輸入節(jié)點(diǎn)數(shù)目，為第k層的聚類類數(shù)
代表第k-1層的濾波器數(shù)目以及第k層中每個節(jié)點(diǎn)的特征維數(shù)。代表輸入數(shù)據(jù)，的shape為（）。表示第k層第j個濾波器的第i個值，h為激活函數(shù)，L為pooling操作
對于當(dāng)前節(jié)點(diǎn)，按照如下方法取鄰居：
這里體現(xiàn)了局部性（只取每個節(jié)點(diǎn)前k個鄰居）（supp是支撐集，如果x和y節(jié)點(diǎn)不是鄰域關(guān)系，的值為0）
連接體現(xiàn)在層與層之間的神經(jīng)元數(shù)目是通過聚類得到的，上一層的聚類對應(yīng)為下一層的神經(jīng)元
第k層需要學(xué)習(xí)的參數(shù)個數(shù)為：
為 average support of the neighborhoods
3.2 Spectral Construction
F為權(quán)重的對角矩陣，V是拉普拉斯矩陣的特征向量矩陣，h為激活函數(shù)。是第K層上所有節(jié)點(diǎn)的第i個特征拼接形成的向量,是濾波器。
推導(dǎo)過程
離散卷積：
離散傅里葉變換：
離散傅里葉逆變換：
step 1
(上述推導(dǎo)來源于知乎回答：https://www.zhihu.com/question/47883434/answer/286401230)
(此處符號略不同，簡單對比一下就可以理解了)
最后可得結(jié)論：f和g的卷積（時域）等于 f和g的頻域乘積
step 2
根據(jù)亥姆霍茲方程有
其中是拉普拉斯算子
根據(jù)拉普拉斯的譜分解可得為拉普拉斯矩陣的特征值
代表時域信號,代表頻域信號，有：
step 3
將step 2代入卷積公式：
令
得
四、Experiments
FCN為全連接層（with N outputs），LRF為局部連接 ， MP 為max-pooling layer， SP為spectral層
五、Conclusion
譜結(jié)構(gòu)是所有頂點(diǎn)都參與運(yùn)算，沒有實(shí)現(xiàn)局部卷積和參數(shù)共享。 每一次前向傳播都要計算，的矩陣乘積，運(yùn)算量大 參數(shù)量大，卷積核參數(shù)量為n個