【推薦系統(tǒng)】面向科研的推薦系統(tǒng)Benchmark誕生！

今天跟大家分享的是一篇發(fā)表在RecSys2020推薦系統(tǒng)年會(huì)上的關(guān)于推薦系統(tǒng)Benchmark的文章。你是否還記得關(guān)于MLP or IP：推薦模型到底用哪個(gè)更好？問題的激烈討論，又或你是否還記得關(guān)于評論文本信息對推薦真的有用嗎？問題的深入分析，再者你是否還記得知乎上關(guān)于深度學(xué)習(xí)對于推薦系統(tǒng)性能帶來的都是偽提升問題的廣泛質(zhì)疑[1]，這些問題之所以會(huì)存在的原因是：沒有統(tǒng)一的標(biāo)準(zhǔn)，包括數(shù)據(jù)集的劃分方式、統(tǒng)一的評價(jià)指標(biāo)，相同的實(shí)驗(yàn)設(shè)置等。因此今天的這篇文章算是在這方面的一個(gè)進(jìn)步。

論文地址：

https://dl.acm.org/doi/pdf/10.1145/3383313.3412489

動(dòng)機(jī):?

推薦系統(tǒng)目前缺少一個(gè)基線標(biāo)準(zhǔn)用于任務(wù)評價(jià)。所以引發(fā)兩個(gè)問題：模型的可復(fù)現(xiàn)性以及模型之間的公平對比，因此，本文針對隱式反饋Top-N推薦問題提出一種benchmark。

簡介:?

該文首先系統(tǒng)地回顧了85篇推薦論文，包括論文接收的年份和會(huì)議分布、常用的推薦系統(tǒng)數(shù)據(jù)集分布、所對比的基線模型的分布以及評價(jià)指標(biāo)分布等。

另外還總結(jié)出一些在對于模型評價(jià)具有重要影響的實(shí)驗(yàn)設(shè)置因素：數(shù)據(jù)處理，數(shù)據(jù)分割，超參數(shù)選擇、負(fù)采樣選擇以及損失函數(shù)選擇等。

最后通過大量的實(shí)驗(yàn)說明這些實(shí)驗(yàn)設(shè)置給模型的表現(xiàn)帶來的影響。接著提出benchmarks需要滿足的一些條件，并基于此選擇一些代表性的模型進(jìn)行實(shí)驗(yàn)。除此之外，還發(fā)布了基于python的代碼庫。以下為該開源代碼庫的架構(gòu)圖，包括數(shù)據(jù)集的加載方式、預(yù)處理方式、對比方法選擇等組件。

內(nèi)含常用的基線和SOTA對比方法：

倉庫地址：

https://github.com/AmazingDD/daisyRec

希望未來的推薦算法能夠良性對比，公平競爭。

英文原文：https://medium.com/visionwizard/object-tracking-675d7a33e687

往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
機(jī)器學(xué)習(xí)在線手冊
深度學(xué)習(xí)筆記專輯
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
AI基礎(chǔ)下載
機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯

獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：

https://t.zsxq.com/y7uvZF6

本站qq群704220115。

加入微信群請掃碼：