面向可解釋性的知識圖譜推理研究
本文約6600字，建議閱讀5分鐘 本次演講主題是面向可解釋性的知識圖譜推理研究。
報告分為以下 5 個部分：
研究背景
前沿進展
研究動機
近期研究
研究展望
01 研究背景
1. 引言
首先，介紹一下背景。人工智能經(jīng)過 70 多年的發(fā)展，已經(jīng)從計算智能的能存、會算，進步到了感知智能的能聽、能看、會認、會說，并已有很多系統(tǒng)在此方面做的很出色，但與理想的認知智能還有很大的距離。認知智能希望機器能夠對數(shù)據(jù)模型、原理進行理解、推理、解釋等，這種認知智能很大的特點是依賴背景知識，例如，對于新的網(wǎng)絡概念或網(wǎng)絡熱詞，如“996”、“YYDS”等，這種新的概念是建立在群體共識下的，非常依賴背景知識，對這種非常符合認知智能特點的概念的學習和建模是目前的難點，學習和表示這種背景知識是非常關鍵的技術。
2. 知識圖譜
知識圖譜即是承載和表示背景知識的技術和工具，以圖的形式，將真實世界中的實體、關系組織成網(wǎng)，將知識進行結構化。以上圖知識圖譜為例，可以知識圖譜中的實體和關系抽象為圖中的節(jié)點和邊，其特點是：
它是一個有向圖，其邊是有向的
它是一個異質圖，節(jié)點和邊有不同的類型，又稱為異質信息網(wǎng)絡
它具有豐富的信息，可以給節(jié)點和邊綁定豐富的屬性信息，對知識進行更加細致的描述
它通常規(guī)模會很大
3. 知識圖譜的下游應用
知識圖譜在需要背景知識或知識獲取中應用比較廣泛，比較典型的包括：信息檢索、問答/聊天系統(tǒng)，語言、圖像理解等。
信息檢索，利用知識圖譜進行概念之間的智能推理、模糊查詢，同時可給關鍵概念提供知識卡片，方便用戶體驗。
問答/聊天系統(tǒng)，當和問答助手或聊天系統(tǒng)進行交互時，可解決任務型問答的問題，則知識圖譜將發(fā)揮比較核心的作用。
語言、圖像理解，利用知識圖譜實現(xiàn)對語言數(shù)據(jù)、文本數(shù)據(jù)、圖像數(shù)據(jù)的理解，利用知識增長的方式幫助學習概念之間的關系，如最近研究比較活躍的VQA、圖像關系推理等。
4. 知識圖譜推理
以上提到的應用中，核心的功能就是知識圖譜推理。所謂知識圖譜推理，就是在知識圖譜中根據(jù)已有的知識來獲得新知識的能力。以上圖中人物關系知識圖譜為例，已知 X 與 Z、Z 與 M 之間的關系，Z 是 X 的妻子，M 是 Z 的孩子，則系統(tǒng)可以推理出X是M的父親，這是一種最簡單的推理關系。
知識圖譜推理可以從兩個角度來看，一是從邏輯演繹的角度，它是一個多個命題約束下真值判斷的問題。二是可以從圖的角度來理解知識圖譜推理，可以建模分析鏈接預測的問題，可根據(jù)圖中的節(jié)點來預測節(jié)點之間的關聯(lián)；如：給出兩個實體，預測兩者之間有哪種邊，即哪種關系；給定某一個實體、某一條邊，能預測出哪些實體與這個實體有某種關聯(lián)。
02 前沿進展
1. 主要方法
這里將前沿進展的主要方法分為 4 個部分，一是演繹邏輯及規(guī)則；二是基于圖結構的推理；三是知識圖譜嵌入表示；四是深度神經(jīng)網(wǎng)絡模型。
2. 演繹邏輯及規(guī)則
該方法是非常經(jīng)典且常見的方法。將自然語言查詢轉化為邏輯操作符的組合，通過組合來表達這種查詢，再以具體的編程語言進行實現(xiàn)得到查詢，比較著名圖的查詢的實現(xiàn)包括 SPARQL、Cypher、Datalog 等語言的歸納邏輯編程。基于演繹邏輯推理的特點是：
推理的準確性非常好
可解釋性好，其是具有邏輯性的
其需要專家制定大量的推理規(guī)則
對于不知道規(guī)則的泛化性能力比較差
近期研究的一個熱點和熱門是，如何利用機器學習和深度學習，自動地發(fā)掘推理的規(guī)則。
3. 基于圖結構的推理
這里認為圖結構有兩個特征：一是路徑特征，代表算法是 PRA 及擴展算法，通過圖的遍歷算法或隨機游走方法來提取節(jié)點間的路徑特征，通過路徑特征來對節(jié)點連接進行預測，其特點是在推理的同時提供路徑可解釋性，但其問題是對于推理節(jié)點沒有連接的問題就不能解決?；趥鹘y(tǒng)的方法，其搜索空間比較大。二是基于圖結構的方法，代表方法是 Grall，利用消息傳遞機制提取目標實體的結構信息，提供子圖可解釋性；但目前子圖結構的方式還不是很成熟，因知識圖譜通常很大，如果遍歷圖中所有的子圖結構，遍歷的方式方法非常重要。
4. 知識圖譜嵌入表示
將知識圖譜高維、離散的數(shù)據(jù)，通過設計某種得分函數(shù)，將高維知識圖譜嵌入到低緯連續(xù)的向量空間之中，將實體和關系表示成數(shù)值型的向量進行計算，其代表性的模型為 TransE 類型，近期研究的事 RotateE 模型或在雙曲空間中嵌入的模型，其方法的特點是淺層的神經(jīng)網(wǎng)絡，通過特定的嵌入空間的結構實現(xiàn)知識圖譜語義的表示。
5. 深度神經(jīng)網(wǎng)絡模型
深度神經(jīng)網(wǎng)絡模型是通過將實體和關系設計成查詢對，通過查詢對與實體、關系的匹配，通過深度神經(jīng)網(wǎng)絡得到推理的相似度得分，來進行推理的判斷。近期研究的熱點是 Transformer 或圖神經(jīng)網(wǎng)絡。
知識圖譜嵌入模型和深度網(wǎng)絡模型都視為神經(jīng)網(wǎng)絡模型，其相同點是都會設計一個得分函數(shù)，通過數(shù)據(jù)驅動的方式，以梯度反向傳播方法進行訓練。其優(yōu)點是泛化性能比較好，易于數(shù)值計算及并行化，規(guī)模性好，可以有效緩解圖結構維度災難的問題。其缺點是只能看到輸入和輸出數(shù)值的相似度，缺乏可解釋性，不知道模型內部發(fā)生了什么，是一個黑盒的過程，因此可解釋性差，對噪音的魯棒性不強，只能進行單步的推理。
6. 現(xiàn)有方法總結
這里對主要的推理方法進行一個總結，可以發(fā)現(xiàn)基于邏輯演繹規(guī)則和圖結構的方法都是是基于符號的方法，其可解釋性比較好，但泛化性能比較差，都是離線的計算方式。基于知識圖譜嵌入和深度神經(jīng)網(wǎng)絡模型，其泛化性能比較好，但可解釋性比較差。
近期研究的重點是如何將符號主義和連接主義的模型進行融合來獲得具有可解釋性的知識圖譜推理模型。
03 研究動機
1. 知識圖譜推理的可解釋性
對知識圖譜推理的可解釋性來源進行了分類：
邏輯可解釋性：是天然的知識圖譜可解釋性來源，可以提供邏輯解釋依據(jù)。
圖結構的可解釋性：圖結構具有路徑特征，如metapath和子圖的結構特征。
神經(jīng)網(wǎng)絡模型可解釋性：事后可解釋性，可以通過神經(jīng)網(wǎng)絡的一些事后可解釋性手段來分析特征的顯著性。其代表方法是Attention機制的可視化，這種方法目前還不是很成熟；另一種是 CAM 或圖 CAM 方法；還有一種是利用嵌入空間理論分析方法，其中 RotateE 或雙曲空間其嵌入空間理論分析做的非常好，但是不能很好地解釋參數(shù)的變化。
2. 強化學習
如何對符號主義和連接主義的模型進行有效的融合是近期的研究熱點。這里研究的重點是將強化學習融入到知識推理中。
強化學習是近 10 年來非常受關注的模型，在控制、游戲、機器人中得到了廣泛應用。其是將一個學習過程建模成馬爾科夫過程，通過智能體和環(huán)境的互相交互，通過最大化長期累積的獎賞來訓練模型。與環(huán)境交互時會產(chǎn)生軌跡，如果將知識圖譜建模為一個強化學習的過程，那么既可以得到推理的結果，也可以得到推理的路徑，通過推理路徑來解釋知識圖譜推理。
3. 基于強化學習的知識圖譜推理
具體的融合方法是將知識圖譜視為一個環(huán)境，將智能體建模成一個深度神經(jīng)網(wǎng)絡，結合符號主義和連接主義的優(yōu)缺點，做到取長補短，讓模型同時具備神經(jīng)網(wǎng)絡的泛化性能和路徑可解釋性，同時由于深度強化學習是一個序列過程，可以處理多跳推理的過程。
04 近期研究
1. 基于層次強化學習的知識圖譜推理
第一個進行的工作就是基于層次強化學習的知識圖譜推理模型。
其研究的背景是解決知識圖譜多語義問題。以圖為例，將 FreeBase 知識圖譜中的實體用 TransE 進行預訓練，將相關聯(lián)的實體相減得到關系的表示，將表示進行 PCA 降維可視化，可以看到關系具有多個語義簇，代表關系模型在預訓練模型中出現(xiàn)的模式。多個語義簇會造成歧義的現(xiàn)象，造成推理準確率下降。
如何解決知識圖譜推理多語義問題呢？結合近期神經(jīng)科學的發(fā)現(xiàn)，發(fā)表在 Science 上的文章表明人類或高級動物其決策的過程是一個分層推理的過程，是一個潛意識的過程，通過多次觀察、多次推理，逐步去消解多語義和歧義，來得到推理的結構。分層決策的機制是認知過程的核心機制，是該論文的結論。例如，人在識別一只金絲猴的過程中的一個潛意識過程是先識別是一個動物，是一個靈長目的動物，再識別它是一只金絲猴。這是一個從高水平到低水平、從概念上粗粒度到細粒度的過程，該過程就是一個分層的機制。
分層強化學習與傳統(tǒng)強化學習模型的區(qū)別是，分層強化學習將決策空間進行了進一步的結構化，將問題分解為若干個子問題來進行決策。分層強化學習更像人類思維，能夠提高知識推理的準確度，解決多語義問題。
具體實現(xiàn)分層強化學習的方法是設計兩個互相嵌套的強化學習，一個是高層次的策略函數(shù)，一個是低層次策略函數(shù)。高層次策略控制知識圖譜實體間的狀態(tài)轉移，低層次策略控制語義簇之間的轉移，語義簇是用 TransE 的嵌入來構建。
具體來講，高水平策略函數(shù)是一個基于 GRU 的可以保存歷史向量的策略函數(shù)，其獎賞函數(shù)是一個γ衰減的獎賞函數(shù)。低水平策略函數(shù)是一個將狀態(tài)空間層次化分解的過程，其獎賞函數(shù)是一個 0、1 獎賞。
其訓練的目標是使其獎賞最大化，利用梯度策略優(yōu)化來訓練模型。由于該模型高水平策略和低水平策略互相嵌套的模型，使用交替固定優(yōu)化的方式，通過蒙特卡洛采樣軌跡的方式來訓練推理模型。
使用的評價指標是平均準確率、平均排序分數(shù)和 Hit@X。數(shù)據(jù)集是常識知識圖譜 FB15K、NELL995、WN18RR，其中 FB15K 的多語義現(xiàn)象比較嚴重。
進行鏈接預測的實驗，圖為實體預測的實驗結果，可以發(fā)現(xiàn)模型在大部分數(shù)據(jù)集上表現(xiàn)的都比較好，同時在多語義的數(shù)據(jù)集上表現(xiàn)的更好一點。
第二個是事實預測的實驗，給定兩個實體，預測它們之間是否存在某種關系，是一個二分類的問題，模型在 FB15K-237 上表現(xiàn)更好一些。
分層強化推理可以提供可解釋性的推理路徑，如圖，在推理過程中相比于 MINERVA可以提供更好的推理路徑。
小結：提出了一個分層強化學習的知識推理模型，這個模型模仿了人類的思維方法，這個模型可以學習到知識圖譜中關系的層次化語義簇，從而有助于解決推理過程的多語義問題。實驗表明，這個模型可以在標準的數(shù)據(jù)集上取得競爭性的結果，在多語義問題上表現(xiàn)更好。該工作發(fā)表于 2020 年 IJCAI 上。
2. 基于貝葉斯強化學習的知識圖譜推理
第二個是進行的關于貝葉斯強化學習的知識圖譜推理模型。
研究發(fā)現(xiàn)，基于強化學習的知識圖譜推理很大的問題是：
訓練難以穩(wěn)定，其蒙特卡洛抽樣的方差比較大，獎賞稀疏。
難以利用先驗知識，如利用預訓練語料、屬性信息、關系和實體的先驗分布。
單點分布的實體和向量，不能表達語義的不確定性。
利用貝葉斯強化學習工具來建模不確定性推理。假設參數(shù)服從某種概率分布，右圖顯示了貝葉斯學習的有點是可以表達不確定性。
利用貝葉斯強化學習其優(yōu)點是可以表達實體及關系的不確定性，這種不確定性有利于權衡探索-利用關系，通過隨機性可以引入正則項，來穩(wěn)定 Q 網(wǎng)絡/策略網(wǎng)絡的訓練優(yōu)化，同時貝葉斯強化的機制可以利用知識的先驗分布。
其方法比較簡單，就是將知識圖譜中的實體和關系假設為高斯分布，通過設計合理的知識圖譜 Q 函數(shù)來進行推理。
將知識圖譜推理定義成馬爾可夫決策過程，其環(huán)境是知識圖譜，狀態(tài)是實體在知識圖譜中所處的位置，動作是這個位置可能連接的實體集合，策略函數(shù)是基于最大 Q 值的執(zhí)行策略，獎賞函數(shù)是 0、1 獎賞。
Q 函數(shù)的定義就是一個狀態(tài)動作值的定義，在 St 是狀態(tài)時，對未來推理 Q 的獎賞的期望。直接求解 Q 函數(shù)通常比較困難，是通過神經(jīng)網(wǎng)絡進行擬合。具體實現(xiàn)方式是通過 BayesianLSTM 來擬合 Q 函數(shù)的隱狀態(tài)，通過貝葉斯線性回歸網(wǎng)絡輸出 Q 值。
具體的執(zhí)行策略和優(yōu)化策略有兩種，是異策略的方式，即優(yōu)化策略與執(zhí)行策略函數(shù)不同。優(yōu)化策略是采取貪心策略，來保證訓練的利用。執(zhí)行策略是通過 Tompson 采樣，通過 Q 值隨機化生成來保證環(huán)境的探索。
最后的目標函數(shù)是最小化 Q 函數(shù)網(wǎng)絡的變分自由能，通過軌跡采樣方式來進行優(yōu)化，采用蒙特卡洛梯度進行近似優(yōu)化，具體實現(xiàn)是通過貝葉斯反向傳播的方法來訓練貝葉斯神經(jīng)網(wǎng)絡。
在知識圖譜進行的實驗，圖為事實預測的實驗結果，是一個二分類預測，給定兩個實體預測其關系的實驗?？梢园l(fā)現(xiàn)模型在 NELL995 上大部分取得了比較好的領先。
實體預測的實驗，可以發(fā)現(xiàn)模型可以取得較優(yōu)的結果。
在小規(guī)模知識圖譜上的鏈接預測實驗，在小規(guī)模知識圖譜,上的實驗將最大推理長度設定為 2，設定為單步推理，也取得了一定的效果。
貝葉斯強化學習模型，沒有采用隨機分布的方式，與 MINERVA 進行對比，可以發(fā)現(xiàn)貝葉斯強化學習模型收斂的更快一些，可以引入先驗分布，通過對實體的高斯分布的預訓練，葉斯強化學習模型收斂的結果更好一些。
對推理的過程進行箱式圖可視化，如圖示例中，推理阿根廷是在哪里的？可以不確定性推理，實現(xiàn) Q 值分布的不確定性，來實現(xiàn)不確定性推理。
圖為 GaussianPath 模型在推理過程中產(chǎn)生了一些可解釋性的推理路徑。
小結：提出一個貝葉斯強化學習的知識推理模型，該模型可以表達多跳推理路徑的不確定性；該模型可以利用貝葉斯網(wǎng)絡的特性引入先驗知識從而加速及穩(wěn)定強化學習的網(wǎng)路訓練。實驗表明，該模型可以在標準的數(shù)據(jù)集上取得競爭性的結果。該工作發(fā)表于 2021 年 AAAI 上。
3. 異質信息網(wǎng)絡的自動元路徑挖掘
第三個工作是基于強化學習的知識圖譜推理的應用，就是在異質信息網(wǎng)絡的自動元路徑挖掘。
異質信息網(wǎng)絡是指圖上的節(jié)點、關系的種類大于 1 的網(wǎng)絡，其定義比知識圖譜更加廣泛。常見的異質信息網(wǎng)絡有電影網(wǎng)絡、引用網(wǎng)絡、知識圖譜等。
元路徑是異質信息網(wǎng)路上非常常用的手段，是實體關系的序列，可以表達實體之間的語義特征，如，“APA”可以刻畫共同發(fā)表的關系，“APVPA”可以刻畫同一個課題組的關系。其在圖數(shù)據(jù)挖掘中產(chǎn)生了一系列非常經(jīng)典的工作。
元路徑（Meta Path）應用非常廣泛，在信息檢索、數(shù)據(jù)挖掘、推薦系統(tǒng)中廣泛應用。
元路徑優(yōu)點是，語義表達準確，效率較高，含有圖的結構特征，可解釋性好。缺點是，需要人工設計，人工構造 Meta Path，是非端到端的方法，對于長序列元路徑設計比較困難。
自動得到元路徑的方法是基于貪婪樹的方法、K-最短路徑、圖遍歷的方式得到 Meta Path。其存在的問題是在離散空間計算，搜索空間比較大。我們研究的異質信息網(wǎng)絡的自動元路徑挖掘模型，利用強化學習，在推理過程中得到推理路徑模式，來得到元路徑。
異質信息網(wǎng)絡的自動元路徑挖掘方法，在 HIN 上利用強化學習進行多跳推理，得到路徑實例；在類型有向圖上進行規(guī)約，得到元路徑。
該工作強化學習的框架，與前面兩個工作類似，就是在狀態(tài)、動作設定上略有不同。在狀態(tài)上加入了 vd 實體的元組；在動作上，是實體在異質信息網(wǎng)絡的停留，其動作空間就是與其連接的邊和實體；獎賞是基于 γ 的衰減的獎賞函數(shù)。
知識圖譜的規(guī)模通常很大，是百萬級別的實體及事實，直接給每個實體分配表向量通常會消耗非常大的存儲資源和計算資源。這項工作提出一種基于類型上下文表示的方式，通過將類型向量平均來表示實體，有效減少實體向量存儲的問題。
具體路徑實例規(guī)約方法是基于最低祖先方法，通過在類型圖上進行根節(jié)點的搜索得到元路徑。如，實體類型的 DAG 如圖，通過最低祖先搜索的方法得到其是 Person 的類型，最后得到類型及類型的組合，得到元路徑。
實驗部分采用挖掘得到的元路徑進行鏈接預測。采用的數(shù)據(jù)集是 Yago 和 NELL，即大規(guī)模異質信息網(wǎng)絡或知識圖譜。Yago 和 NELL 具有上百萬的實體，Yago 中具有 80 多萬個類型；NELL 具有 700 多個類型。與 KG 的區(qū)別是具有大量的類型信息。
根據(jù)鏈接預測的實驗，可以發(fā)現(xiàn)通過強化學習挖掘得到的路徑，盡管其是一個比較簡單的路徑特征的線性回歸，都可以取得比較好的效果。
同時，可以通過強化學習推理的回歸的 Weight 獲得元路徑的權重，如，在 Yago 數(shù)據(jù)集中表示公民的關系，可以由 Person BorIn Country、Person BorIn District LocatedIn Country 主要刻畫 isCitizenOf 的關系。該模型可以獲得不同權重的元路徑，也可以挖掘得到較長長度的元路徑，還可以通過元路徑的比較發(fā)現(xiàn)同義的元路徑。
小結：提出一個強化學習的模型，該模型可以在大規(guī)模異質信息網(wǎng)絡上挖掘元路徑，利用上下文表示可以大大緩解異質信息網(wǎng)絡的規(guī)模性問題。實驗表明，即使利用簡單的線性回歸，挖掘得到的元路徑也可以在大規(guī)模異質信息網(wǎng)絡表現(xiàn)較好。表明異質信息網(wǎng)絡核心的限制就是元路徑的質量。該工作發(fā)表于 2020 年 AAAI 上。
05 總結和展望
深度學習和神經(jīng)網(wǎng)路的研究進入下一階段，需要對神經(jīng)網(wǎng)絡的可解釋性、魯棒性進行更加深入的研究。
未來研究知識圖譜可解釋性的方法可以結合一階邏輯推理和神經(jīng)網(wǎng)絡，讓知識圖譜推理可以符合邏輯性，來提高知識圖譜的可解釋性。
結合進一步的實際查詢任務，例如問答系統(tǒng)、信息檢索，實現(xiàn)端到端的可解釋性知識推理。
利用分解模型或 GNNExplainer 等一些方法，建立現(xiàn)有模型的一些事后可解釋性手段。
06 Q&A 問答環(huán)節(jié)
Q：如何評估生成解釋的可理解能力？
A：解釋的可解釋能力，一般在事后可解釋性比較多，如可信度等。在這里研究工作中，更多是事前可解釋性的方法。具體可解釋性的能力是比較主觀的，現(xiàn)有的評估可解釋性的方法更多的用于事后可解釋性。
今天的分享就到這里，謝謝大家。
分享嘉賓
萬國佳，武漢大學計算機學院博士后，目前感興趣的研究方向為知識圖譜推理、圖神經(jīng)網(wǎng)絡等在，在AAAI，IJCAI，WWWJ等期刊會議上發(fā)表論文6篇。
編輯：王菁
校對：林亦霖