推薦系統通用用戶表征預訓練研究進展

---

隨著NLP和CV領域的發(fā)展，涌現出了以BERT，GPT為代表的大規(guī)模語言模型和以ImageNet為代表的各種經典視覺模型，如resnet和visual transformer，在各自領域都產生了很大的成功，而且實現了通用語言/視覺表征能力，例如BERT學好的語言表征可以被應用到各種各樣的下游任務。受到相關技術的啟發(fā)，推薦系統最近兩年也出現了一些學習用戶通用表征的算法和深度模型，也就是，通過對用戶行為進行某種程度預訓練，然后adapt到一些下游任務中，這些下游任務包括，跨域推薦和用戶畫像預測，本文簡要介紹幾種代表性工作, 優(yōu)先并重點介紹了有代碼和數據集的論文，以便大家更好的follow。本帖子參考了一些相關技術帖。

Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation. SIGIR2020

作者來自騰訊和谷歌

代碼+數據集：https://github.com/fajieyuan/SIGIR2020_peterrec

本文提出一種名為PeterRec的通用表征遷移學習算法，論文指出，受到以上NLP和CV領域自監(jiān)督+預訓練的啟發(fā)，作者也嘗試了對用戶點擊行為進行自監(jiān)督建模，以尋求學到通用的用戶偏好表征，論文提出了5個與用戶相關的下游任務去評測學到用戶表征能力，其中包括跨域遷移學習，也就是在冷用戶推薦的場景，通過借助其他domain的用戶行為獲取偏好，另外，本文一個發(fā)現是這種自監(jiān)督學習的用戶表征不僅僅可以做推薦任務，同時可以去預測用戶的基礎畫像和更高層次的用戶屬性信息，作者展示了預訓練用戶表征在遷移到用戶年齡，畫像預測和人生狀態(tài)預測（如，單身、已婚）的有效性，論文的ablation study展示了通過pretraining可以獲得較明顯的性能提升。該論文的一個貢獻是建立了推薦系統和NLP、CV領域的橋梁，也是通用用戶表征比較早期的做法，對后續(xù)工作很有啟發(fā)，同時，作者也發(fā)布了一套開源代碼和數據集（短視頻場景），可以用于預訓練、遷移學習、表征學習、畫像預測等重要的推薦系統任務。

One Person, One Model, One World: Learning Continual User Representation without Forgetting. SIGIR2021.

作者來自騰訊和谷歌

代碼+數據集：https://github.com/fajieyuan/SIGIR2021_Conure

本文作者沿著PeterRec思想，仍然是探究用戶通用表征能力和遷移效果，論文一個重要的貢獻是提出通用用戶表征的終生學習（lifelong learning）機制，不同于以往的工作，學習一個更長的用戶行為序列，然后將其應用于該推薦系統，本文的通用表征著手在多個不同的推薦業(yè)務場景中進行表征持續(xù)學習，論文預訓練與PeterRec一樣，也就是autoregressive的方式，不同于PeterRec工作，本文不僅可以實現one4all思想，而且終生學習在后續(xù)的任務中展示出正向的遷移效果，論文的方法比較簡單，采用常規(guī)的pruning技術，移除任務中冗余參數，這部分模型空間用于學習新任務，這種策略在NLP和CV領域非常常見，尤其是各種模型壓縮，加速等場景，論文主要是提出了一個重要的問題就是實現用戶表征的可持續(xù)終生學習。

Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks. KDD2018.

作者來自Alibaba團隊。

Github上暫未找到代碼和數據集。

粗略調查，本文應該是提出通用用戶表征學習最早期工作了，主要是阿里巴巴電商場景，建模的backbone是LSTM模型，提出了一種DUPN的模型。論文motivation指出很多已有的工作都是針對單個推薦任務場景建模，而如果能夠考慮多個業(yè)務目標，有希望獲取更好的推薦效果，論文的重要技術點是采用多任務多目標學習的方式，通過model用戶的各種行為，包括CTR目標，L2R目標，PPP目標，FIFP目標和SPP目標，集成多個目標理論上能夠學到更好的用戶表征，但是多個目標如何有效的平衡損失函數和干擾也是很重要的，對算法人員駕馭能力要求較高，任何一個loss如果權重設置不合適都有可能造成次優(yōu)，甚至是有hurt的效果，另外，學術界也比較缺少這種實際的業(yè)務數據（各種用戶點擊交互行為），對于后續(xù)的學習會有一些barrier。關于表征的遷移效果，論文做了一些ablation study主要是關于推薦系統場景。

One4all User Representation for Recommender Systems in E-commerce. 2021年arxiv

論文顯示暫未接受，作者來自NAVER CLOVA

Github上未找到代碼和數據集。但是論文在結尾提到會發(fā)布這樣一套超大規(guī)模的數據集，相信發(fā)布后對推薦系統領域會有比較大的推動作用。

論文動機也是認為學習general-purpose的表征能力在機器學習社區(qū)已經取得了很大的成功，同時指出在電商場景下，學習one4all的表征，可以用來做很多下游任務，例如用戶畫像預測、推送和推薦系統。為此，作者們系統的比較了電商場景下通用用戶表征的建模方式和遷移效果，提出ShopperBERT模型，論文數據規(guī)模相當龐大，達到8億點擊行為（PeterRec數據接近1億的行為），論文結果展示出預訓練在多個下游任務上可以取得SOTA效果，該論文比較精彩的地方是做了非常廣泛的分析實驗，很有參考價值。

TUM: Pre-training User Model from Unlabeled User Behaviors via Self-supervision. 2020.findings EMNLP

作者來自清華和微軟

代碼：https://github.com/wuch15/PTUM

用戶專注用戶建模任務，指出傳統的用戶建模需要label數據，然而，推薦系統大量的用戶行為可以用來建立自監(jiān)督學習機制，論文提出mask行為預測和next K行為預測學習用戶表征模型，類似的，作者也是在下游任務（包括CTR預測和畫像預測）中檢測了表征的遷移能力，論文來自一個搜索引擎，具體不詳。

UPRec: User-Aware Pre-training for Recommender Systems. TKDE2021投稿

作者來自清華和騰訊

Github暫未發(fā)現code

本文作者指出已有的序列建模技術往往受制于sparse的用戶行為數據，為了解決這個問題，作者們提出預訓練機制，但是已有的用戶行為預訓練技術只使用了用戶行為序列，缺少異構用戶信息，本文我們提出了基于異構用戶行為的預訓練模型，稱作UPRec，論文展示了這種預訓練機制的有效性，作者借鑒已有工作，也做了用戶性別的畫像預測。

User-specific Adaptive Fine-tuning for Cross-domain Recommendations. TKDE2021,

作者來自中科院

暫未找到代碼

本文作者動機與以上幾篇論文類似，也是想嘗試通過遷移學習解決用戶冷啟動問題，但是不同以上文章，論文提出了一種personalized微調方式，針對不同的用戶采用不同的policy微調機制，作者強調pre-training的殘差塊不一定需要微調，有些用戶的興趣偏好（尤其是行為比較少的用戶）可能會跟pre-training場景更加相似，那么這種情況大可不需要微調，直接使用pretraining自帶的殘差塊即可。論文通過強化學習手段實現user-specific微調技術。效果展示出這種自適應微調效果好于常規(guī)的各種finetune技術。

Scaling Law for Recommendation Models: Towards General-purpose User Representations.

最新arxiv論文，與（4）相同作者，來自NAVER CLOVA；Github上暫未找到代碼和數據集。

動機就不多說了，還是general-purpose用戶表征的遷移學習，不過個人感覺這篇論文寫的非常漂亮，閱讀起來感覺也是非常舒服，論文主要關注scale效果，大有效仿GPT的感覺，論文提出CLUE算法，基于最新的比較學習（contrastive learning），多目標學習用戶表征，然后探索表征的遷移能力，論文用到的用戶行為達到驚人的500億（七個下游任務），是PeterRec訓練樣本的大概500倍，ShopperBERT的60倍以上，有望成為推薦系統領域大模型預訓練的里程碑工作。

Learning Transferable User Representations with Sequential Behaviors via Contrastive Pre-training.ICDM2021

作者主要來自中科大, 暫未找到代碼。

動機不多提了，很有意思的一點，這篇論文的名字也叫CLUE，與（8）相同，好像NLP里面也有這個名字，論文也是探索性質，指出PeterRec這種基于item level的訓練方式容易破壞用戶表征，或者是一種次優(yōu)的表征，既然是用戶表征就應該基于user level，對用戶行為直接做比較學習，論文嘗試了常見的顯式數據提升方式和隱式的dropout方式，證實方法的有效性。

Learning Universal User Representations via Self-Supervised Lifelong Behaviors Modeling. 投稿ICLR2022，

作者來自阿里巴巴，暫未找到代碼和數據。

該論文也是提出了一種通用的用戶表征終生學習機制，起名LURM，LURM包含了幾個重要的組件（BoI和SMEN），通過比較學習學習用戶通用表征能力，論文提出了首個具有建模lifelong行為序列的通用表征算法，論文還沒讀完，看起來比較干，論文呈現比較濃厚的阿里風格。不過看openreview審稿意見，論文本次被ICLR2022接受概率可能不太大，被指出實驗部分缺少一些近期相關baselines的比較（如PTUM和PeterRec），其他評論意見不在此羅列，感興趣的也可以參考openreview官網學習。整體上講，論文水平感覺還是挺不錯的，做了一些有意義的探索，值得學習。

喜歡的話點個在看吧??