【推薦系統(tǒng)】基于知識圖譜的推薦系統(tǒng)總結(jié)
|?單位：華東師范大學
摘要
1 引言
在信息爆炸的社會，人們面對的信息量呈指數(shù)級增長。如何構(gòu)建高效的推薦系統(tǒng)，從海量信息中準確的挑選出對用戶有價值，用戶感興趣的信息成了一個至關(guān)重要的問題。當下，推薦系統(tǒng)已經(jīng)在電商，社交平臺，個性化內(nèi)容推薦等，領域發(fā)揮了重要作用，成了現(xiàn)代互聯(lián)網(wǎng)應用場景中不可或缺的一部分。
傳統(tǒng)的推薦系統(tǒng)主要包括基于協(xié)同過濾的推薦系統(tǒng)，基于內(nèi)容的推薦系統(tǒng)，以及混合推薦系統(tǒng)。協(xié)同過濾算法是從相似度度量出發(fā)，考慮物品或者用戶之間的相似度進行推薦?；趦?nèi)容的推薦系統(tǒng)則需要建模用戶偏好和物品的特征，相比于協(xié)同過濾，基于內(nèi)容的推薦模型在推薦時會考慮物品的特征。基于協(xié)同過濾的方法容易遇到冷啟動或者數(shù)據(jù)系數(shù)的問題，而混合推薦按系統(tǒng)可以利用基于內(nèi)容的推薦系統(tǒng)中的用戶與物品信息來緩解協(xié)同過濾算法的這一問題。
知識圖譜可以用來表示實體之間的關(guān)系，如推薦系統(tǒng)中物品與物品、用戶與物品、用戶與用戶之間的關(guān)系。這些關(guān)系信息可以表示用戶偏好與物品相似度等信息，將這些信息引入推薦系統(tǒng)中可以顯著緩解推薦系統(tǒng)面臨的冷啟動與數(shù)據(jù)稀疏問題。近期出現(xiàn)了一大批研究如何利用知識圖譜提升推薦系統(tǒng)性能的工作。從模型結(jié)構(gòu)角度來看，知識圖譜與推薦系統(tǒng)的結(jié)合有三種形式：依次訓練、聯(lián)合訓練、交替訓練，下文將對這三種結(jié)合形式下的主要工作進行綜述。
2 依次訓練
依次訓練指的是知識圖譜首先通過embedding得到實體與關(guān)系向量，然后引入推薦系統(tǒng)學習用戶向量與物品向量，進行模型訓練。知識圖譜的embedding與推薦系統(tǒng)的訓練是依次進行的。依次訓練的代表方法為Deep Knowledge-aware Network (DKN)。
Hongwei et al. DKN: Deep Knowledge-Aware Network for News Recommendation. WWW, 2018.
2.1 問題定義與背景知識
DKN針對的是新聞推薦問題，以往的新聞推薦系統(tǒng)僅從新聞文本的語義表示方面進行學習，沒有考慮新聞之間在知識層面的聯(lián)系。而這種聯(lián)系包含了用戶的偏好或者新聞之間的相似度的信息，可以用來幫助推薦系統(tǒng)更準確的推薦用戶感興趣的新聞。在新聞推薦的問題中，給定一個用戶的歷史點擊的新聞標題?
?，每個標題都是一個單詞序列?
?，每個單詞都對應著知識圖譜中的一個實體e。給定用戶的點擊歷史，待推薦的新聞列表，以及列表新聞的標題單詞與知識圖譜中實體的關(guān)聯(lián)，最終目的是預測用戶點擊列表中新聞的概率。
知識圖譜的表示形式是包含實體節(jié)點與關(guān)系的三元組(h, r, t) ，其中h表示頭節(jié)點，t表示尾節(jié)點，r代表二者之間的關(guān)系。有了知識圖譜的三元組表示之后，需要得到對實體與關(guān)系的編碼表示，同時希望保留節(jié)點之間的關(guān)系，即希望編碼表示存在類似h+r=t這樣的關(guān)系。目前主要通過translation-based方法實現(xiàn)這一目的，此類方法又包括TransE ,TransH ,TransR。其中TransE的訓練目標為：
直觀上，即希望訓練embedding之后得到的表示能夠滿足h+r-t=0。但是現(xiàn)實中h+r的值可能是不唯一的，是一對多的關(guān)系，其他更高級的translation-based方法對這一點進行了改進。
在提取句子特征上，本文使用了最近流行的CNN方法KCNN 。具體的，將每個句子映射到一個?
?空間，其中d代表單詞的維度，n代表句子中單詞的個數(shù),如圖一所示，可以通過兩個不同的卷積核進行特征提舉，將最終得到的表示進行拼接即可。
2.2 模型介紹
模型的整體架構(gòu)如圖二所示，輸出包括候選新聞與用戶的歷史點擊行為。首先通過知識蒸餾的方法，提取出新聞的標題文本的實體的向量與詞向量。在獲得了標題中的單體與對應的實體向量之后，為了減少embedding過程中的信息損失，利用了一個實體的上下文實體來表示該單詞，將原實體向量與實體的上下文向量映射到一個空間里，得到映射的向量之后，作為標題單詞向量的擴充，然后用KCNN進行處理。對于處理之后的待選新聞表示，與用戶歷史點擊新聞表示，作者對每一篇歷史點擊的新聞標題表示與待選新聞表示之間進行了attention操作，根據(jù)注意力權(quán)重對歷史點擊新聞表示進行加權(quán)平均。最終將歷史點擊新聞表示與待選新聞表示進行拼接，最后在通過一個深度神經(jīng)網(wǎng)絡輸出點擊率。
3 聯(lián)合訓練
聯(lián)合訓練指的是同時進行知識圖譜的embedding與模型的訓練。這里介紹的聯(lián)合訓練的方法為RippleNet。
Hongwei et al. Ripplenet-Propagating user preferences on the knowledge graph for recommender systems. CIKM, 2018.
3.1 問題定義與背景知識
RippleNet的輸入包括用戶U與物品V的表示，以及用戶與物品之間的交互關(guān)系?
?，即有點擊購買觀看的行為時?
?，否則為0。目標是根據(jù)已有的信息構(gòu)建知識圖譜，預測一對沒發(fā)生過交互的用戶與物品之間發(fā)生交互的概率，也即點擊率。
在RippleNet的論文中將基于知識圖譜的推薦系統(tǒng)分為了兩類：基于嵌入的方法和基于路徑的方法。其中基于潛入的方法指的是將通過知識圖譜學習到的實體與關(guān)系表示直接嵌入原先的實體向量用于推薦系統(tǒng)訓練。而基于路徑的方法則通過挖掘知識圖譜中用戶與物品間的各種關(guān)聯(lián)模式來提供輔助信息，在這里的圖是異質(zhì)圖，關(guān)聯(lián)模式是meta-path。異質(zhì)圖可以理解為，圖中的節(jié)點的類別或關(guān)系的類別有不只一類；meta-path指的是圖中的一段路徑，在異質(zhì)圖中兩個節(jié)點間可能有多條潛在的meta-path，這種基于路徑的信息能夠更加直觀的描述知識圖譜中的信息，但是meta-path需要手工設計。
3.2 模型介紹
整體模型如圖三所示。Ripple意為波紋，正如模型所示，輸入用戶的點擊歷史作為“波紋”的中心，在每一次迭代時將波紋擴展開來得到新一層的“波紋”集合（不包括之前的“波紋”），隨著“波紋”的擴散，用戶對新的“波紋”集合中的內(nèi)容的偏好也會減弱，用戶對新得到的“波紋”集合。輸入物品的embedding表示，基于應用場景可以選擇不同的表示，將物品的表示與此時的波紋集合進行關(guān)聯(lián)，通過下式計算關(guān)聯(lián)概率：
然后通過此概率對尾實體（新的“波紋”）?
?進行加權(quán)，從而完成了一次RippleNet在圖上的一次傳播。對每次傳播所得到的加權(quán)向量都進行求和得出一個最終的用戶偏好向量，將此向量與物品表示進行叉積，預測最終的點擊率。
相比于傳統(tǒng)的基于mta-path的方法，RippleNet可以根據(jù)關(guān)聯(lián)概率來自動的挖掘可能的解釋路徑，避免了手動設計meta-path。一個可以預見的問題是，隨著“波紋”的傳播，“波紋”集合可能變得很大，可能會影響模型發(fā)現(xiàn)用戶的潛在興趣，文中沒有提出直接解決這一問題的方法，但是討論這種現(xiàn)象的一個潛在好處：用戶可能有多個路徑來到達同一實體，這些并行路徑可以增加模型中用戶對重疊的實體的興趣，類似于真實物理世界中波的合成。
4 交替訓練
交替訓練任務中，對知識圖譜的特征學習任務和模型的點擊率預測任務交替進行訓練。這方面的工作有MKR。MKR的問題定義與RippleNet的問題定義相同，且所需背景知識前文都已涉及。但是MKR的模型結(jié)構(gòu)非常新穎，下面我們直接開始介紹MKR的模型。
Hongwei et al. Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation. WWW, 2019.
4.1 模型介紹
與其他結(jié)合了知識圖譜的推薦系統(tǒng)模型不同，如圖四所示，MKR包含知識圖譜編碼模型、推薦模型、交叉壓縮模型這三部分。知識圖譜編碼部分按照常規(guī)的做法，輸入知識三元組來有監(jiān)督的學習尾部表示。推薦模型部分輸入用戶和物品的表示，最終預測用戶對物品的點擊率。MKR模型的重點在于交叉壓縮模型部分，即圖四的C部分。
交叉壓縮模型的結(jié)構(gòu)如圖五所示，將知識圖譜邊編碼模型的頭節(jié)點與推薦模型的物品編碼作為輸入。首先，將兩個向量相乘得到交叉向量?
?，認為交叉向量包含了二者之間所有可能的交互。然后，將矩陣乘以參數(shù)向量進行壓縮，重新得到維度與交叉壓縮模型的輸入向量維度相同的輸出向量，從而完成了一次前向傳播。
文中認為，交叉壓縮模型應該只存在于網(wǎng)絡的底層，因為交叉壓縮模型是一個信息融合的過程，在網(wǎng)絡的深層，特征已經(jīng)逐漸變得具體，使得信息發(fā)生有效融合的可能性降低。
5 總結(jié)與展望
本文從從模型結(jié)構(gòu)角度，介紹了利用知識圖譜增強推薦系統(tǒng)性能的三種方法。在深度學習時代，除開模型大小、數(shù)據(jù)量、算力等偏硬件的因素，決定模型性能的主要因素就在于模型結(jié)構(gòu)的設計。從早些年的卷積神經(jīng)網(wǎng)絡，循環(huán)神經(jīng)網(wǎng)絡及其改版，到近幾年的對抗生成網(wǎng)絡，transformer、attention，都表明巧妙的模型（網(wǎng)絡）結(jié)構(gòu)設計能帶來意料之外的效果。
6 參考文獻
用bib做的參考文獻，挪到微信太麻煩了，都是一些很經(jīng)典的論文，很容易搜出來的，就直接貼圖了：
往期精彩回顧 本站qq群554839127，加入微信群請掃碼：