題目： 基于置信度校正可信圖神經網絡

會議： NeurIPS 2021

論文地址：https://arxiv.org/abs/2109.14285

自信點，我的GNN們

圖神經網絡 (GNN) 卓越的性能已經廣受關注，但其預測結果是否值得信賴卻有待探索。之前的研究結果表明，許多現(xiàn)代神經網絡對其預測具有過度自信的現(xiàn)象。然而與之不同的是，我們發(fā)現(xiàn) GNN對其預測結果卻呈現(xiàn)出欠自信的現(xiàn)象。因此，要想獲得一個可信的GNN，亟需對其置信度進行校正。在本文中，我們設計了一種拓撲感知的后處理校正函數，并由此提出了一種新穎的可信賴 GNN 模型。具體來說，我們首先驗證了圖中的置信度分布具有同質性的特點，由此啟發(fā)我們再次利用GNN模型來為分類GNN模型學習校正函數（CaGCN）的想法。CaGCN 能夠為每個節(jié)點學習到一種從分類 GNN 的輸出到校正后的置信度的唯一轉換，同時這種轉換還能夠保留類間的序關系，從而滿足保存精度的屬性。此外，我們還將CaGCN應用于自訓練框架，結果表明可以通過對置信度進行校正獲得更可信的偽標簽，從而并進一步提高性能。我們通過大量實驗證明了我們提出的模型在置信度校正方面和在提高分類準確率方面的有效性。

總結（2-1-1）：

• 2種現(xiàn)象：GNN的預測結果具有欠自信現(xiàn)象；好的置信度分布具有同質性現(xiàn)象；

• 1個模型：CaGCN

• 1類應用：置信度調整后的GNN可以有效應用于自訓練框架

1 引言

圖數據在現(xiàn)實世界中是無處不在的，而圖神經網絡（GNNs）已經在多種圖(graph)數據相關的任務中擁有了卓越的性能。然而在許多現(xiàn)實世界的應用中，高預測準確率并不是我們唯一的追求。例如在許多安全相關的應用中，更渴望獲得一個可信的模型。這里的可信指得是模型對預測的置信度可以真實地反映出模型預測的準確率。如果這兩者相等，我們稱其是校正的，這代表模型是可信的。事實上，深度學習中模型的校正能力早已經在如計算機視覺、自然語言處理等多個領域內被探索過，其結論是現(xiàn)代神經網絡大多數是沒有被校正的，并且對其預測是過于自信的。然而，還并沒有人探究過圖領域中模型的校正能力。所以，現(xiàn)有的圖神經網絡模型的校正能力到底如何呢，模型是否也對其預測過于自信呢？

帶著這個問題，我們對節(jié)點分類任務中模型的校正能力進行了實驗探究。實驗結果如圖1所示，其中橫坐標代表模型（GCN或者GAT）預測的置信度，取值范圍為[0,1]，我們將其劃分為20等份，縱坐標代表相應置信度區(qū)間的平均分類準確率。一般來說，如果模型已經被完美的校正，其置信度應該近似等于該區(qū)間的平均分類準確率，換句話說，圖1中的藍色柱（實際輸出）應與紅色柱（期望輸出）對齊。但是我們發(fā)現(xiàn)，實際上在大部分情況下，藍色柱高于紅色柱，這說明模型的分類準確率高于其置信度，模型對其預測是不自信的。這與其他領域中的結論正好相反。

圖1 GCN和GAT在Cora、Citeseer、Pubmed、CoraFull數據集上的可靠性直方圖。

此外，我們可視化了節(jié)點的置信度分布，如圖2所示，其中橫坐標代表置信度，縱坐標代表對該置信度下節(jié)點數量的密度估計。從圖2中我們可以明顯觀察到，許多預測正確（藍色）節(jié)點的置信度分布在低置信度區(qū)間中。這可以部分解釋我們上面結論，即圖模型是不自信的。

圖2 GCN和GAT在Cora、Citeseer、Pubmed、CoraFull數據集上的置信度分布

接下來，我們將提出圖領域中置信度的校正方法——CaGCN。

2 方法

給定一個graph 的鄰接矩陣 和其特征矩陣 ，對于一個層GCN來說，其輸出可以通過如下方法得到：

其中 代表GCN的第層的權重，代表激活函數。接下來我們設計的置信度校正函數應該滿足如下三個屬性：（1）考慮網絡拓撲 （2）是一個非線性函數 （3）能保存分類GCN的分類精度。

基于GCN設計的校正函數

我們假設在一個graph中，節(jié)點置信度的ground-truth分布應該滿足同配（homophily）屬性。我們首先設計實驗驗證了這一點，即利用一個經典的校正函數 tenperature scaling (TS) 對分類模型GCN的每個節(jié)點的置信度進行校正，然后計算這些節(jié)點置信度的總變差，結果如圖3所示。顯然，相比于沒有校正（Uncal.）的情況，校正后的置信度的總變差有了明顯的下降，這證明了我們假設的正確性?？紤]到GCN天然可應用于高同配性圖，具有平滑鄰居節(jié)點信號的能力，我們利用另一個GCN作為我們的校正函數，我們稱其為CaGCN。

具體來說，CaGCN以分類GCN的輸出作為輸入，輸出校正后的每一個節(jié)點的置信度，如下所示：

其中是softmax算子?？梢钥吹?，CaGCN能夠學習到一種非線性變換，并且將網絡拓撲考慮在內。但是，我們也可以注意到，由于CaGCN是一種非線性變換，對任意節(jié)點，它并不能保證和的類間序關系是一致的。換句話說，它并不能保持分類GCN的分類精度。針對這一點，接下來我們將對CaGCN進行改進。

精度保存的屬性

首先，我們對一般的精度保存的校正函數進行了研究，提出了如下理論：

理論一：對于一個校正函數，一維函數以及節(jié)點的輸出,如果是一個嚴格保序函數并滿足

則是可以保存分類模型的精度。

Temperature scaling（TS）就是一個最簡單的精度保存的校正函數，它用一個標量對所有節(jié)點的輸出的所有維度做相同的變換：，這里的就是一個嚴格保序函數。因此我們可以借助TS的思想，對前面提出的CaGCN進行改進。具體來說，給定分類模型的輸出，我們首先用CaGCN為每個節(jié)點學到一個，然后再進行TS變換。用公式可形式化的表示為：

相比于公式（2）中未改進的CaGCN，公式（4）的CaGCN可以保存分類模型GCN的精度；相比于TS方法，其為每個節(jié)點學習到了一種非線性變換，同時在校正過程中將網絡拓撲考慮在內。需要注意的是，相比于公式（2）中的模型，公式（4）施加了很強的約束，它迫使中所有的維度只能進行相同的變換，但是接下來我們將證明他們在置信度校正方面的相等性。事實上，我們只要證明公式（4）可以輸出中的任意一個置信度值即可，如下：

理論二：給定分類模型對任意節(jié)點的輸出，假定對于的所有元素均不趨于無窮，則通過公式（4）得到的校正后的置信度可以取遍區(qū)間。

到此，我們提出的CaGCN已經可以滿足需要的全部屬性，即（1）考慮網絡拓撲 （2）是一個非線性函數 （3）能保存分類GCN的分類精度。接下來我們將講述CaGCN的目標函數。

優(yōu)化目標

前人已經證明了優(yōu)化NLL loss（交叉熵loss）便可以對置信度校正進行優(yōu)化，因此我們也將NLL loss作為損失函數：

此外，由于NLL loss并不能直接減小錯誤預測的置信度，我們提出了一個正則化項：

其中，和分別指正確和錯誤預測的數量，和指預測概率向量的最大值和次大值。最終，目標函數為：

其中，為超參數。

CaGCN整體的框架如圖4所示，其中實線代表可以進行反向梯度傳播的運算。我們首先利用訓練集訓練好一個分類GCN從而得到所有節(jié)點的輸出，接下來以作為CaGCN的輸入，利用驗證集訓練CaGCN。具體來說，首先將輸入到CaGCN中得到每個節(jié)點的，然后對進行temperature scaling變換得到，即對于節(jié)點，，最后對做softmax變換并根據公式（5,6,7）得到目標函數，優(yōu)化該目標函數從而更新CaGCN。

3 基于置信度校正的自訓練方法

這里我們額外提出一個置信度校正的實際應用，即將其用于改進GCNs中自訓練方法。自訓練指的是為無標簽節(jié)點預測偽標簽，然后選擇部分高置信度節(jié)點連同偽標簽加入到訓練集，從而擴充訓練集，改進模型性能的方法。由于GCNs普遍是不自信的，因此我們首先對GCN輸出的置信度進行校正，然后再利用校正后的置信度選擇無標簽節(jié)點，從而更好利用正確的低置信的預測。我們將該方法稱之為CaGCN-st。

4 實驗

實驗分為兩部分，分別評估CaGCN在置信度校正方面的性能和CaGCN-st在提高模型分類準確率方面的性能，其中前者的評估指標是ECE，后者是Accuracy。兩個實驗均選擇了Cora、Citeseer、Pubmed、CoraFull四個數據集，每個數據集選取了不同的標簽率。實驗結果如下：

圖5 CaGCN與其他置信度校正方法的結果對比（值越小代表性能越好）

圖6 CaGCN-st與其他自訓練方法的結果對比（值越大代表性能越好）

另外，我們還進行了CaGCN-st的消融實驗，驗證增加的置信度校正方法的有效性，結果如圖7所示，其中GCN-st指沒有置信度校正的普通自訓練方法。

更多細節(jié)以及實驗結果請參見：https://arxiv.org/abs/2109.14285