快手因果推斷與實驗設(shè)計

來源：DataFunTalk

本文約4500字，建議閱讀8分鐘 
本文主要以快手直播的現(xiàn)實任務(wù)為例進行展開，介紹快手因果推斷與實驗設(shè)計的相關(guān)工作。

[ 導(dǎo)讀 ]理解和識別用戶行為指標的相互關(guān)系是實驗分析的目標。在社區(qū)氛圍下，影響用戶行為的因素更為復(fù)雜，關(guān)系識別更為困難，如何使用各種學(xué)科的方法，對社區(qū)進行宏觀或微觀的建模分析，系統(tǒng)性的評估各種策略的長期生態(tài)影響，是所要解決的重要問題。

本文金雅然博士將以快手直播的現(xiàn)實任務(wù)為例進行展開，介紹快手因果推斷與實驗設(shè)計的相關(guān)工作，主要內(nèi)容包括：① 快手直播場景中遇到的因果推斷問題及技術(shù)框架；② 基于觀測數(shù)據(jù)或?qū)嶒灁?shù)據(jù)的因果推斷技術(shù)案例；③ 涉及到網(wǎng)絡(luò)效應(yīng)的復(fù)雜實驗設(shè)計。

01 快手直播場景中遇到的因果推斷問題及技術(shù)框架

在快手我們主要會遇到這四類問題：用戶激勵設(shè)計、推薦策略評估、產(chǎn)品功能迭代以及預(yù)估產(chǎn)品和方向的長期價值。

遇到這些問題我們通常有幾種方式來解決：

• 基于觀測數(shù)據(jù)的因果推斷，即從已有實驗和非實驗數(shù)據(jù)中提煉因果關(guān)系；
• 在產(chǎn)品設(shè)計上構(gòu)建正確的AB實驗，合理計算指標，度量產(chǎn)品功能和迭代的影響；
• 通過經(jīng)濟模型、機器學(xué)習(xí)算法和數(shù)據(jù)、實驗的結(jié)合構(gòu)造反事實推理來回答長期效應(yīng)問題。

解決這些問題的核心是使用因果推斷方法。

因果推斷的核心是在數(shù)據(jù)中存在關(guān)聯(lián)關(guān)系的前提下，考慮數(shù)據(jù)之間的因果關(guān)系。任務(wù)是在給定的假設(shè)中，選擇模型框架，將因果關(guān)系從關(guān)聯(lián)中分割，對因果分析的大小作出正確的估計，并且通過統(tǒng)計推斷的方法，驗證推斷的正確度，并回答推斷結(jié)果存在多大波動。

在因果推斷中，我們通常應(yīng)用以下兩種框架：

Rubin虛擬事實模型（Potential Outcome）的核心是尋找合適的對照組。通常情況下，我們想要度量用戶是否被實驗影響到的兩者差異是多少，而對于同一個用戶，我們只能觀測到被影響/不被影響一個狀態(tài)，因此需要尋找合適的對照組，估計無法被觀測到的影響。我們通常會構(gòu)造一些識別實驗，比如，經(jīng)濟學(xué)上通過RCT實驗，互聯(lián)網(wǎng)常使用AB實驗，或者根據(jù)觀測數(shù)據(jù)使用恰當?shù)姆椒▉韺ふ覍φ战M。

Pearl因果圖模型（Causal Graph Model）使用有向圖描述變量之間的因果關(guān)系。通過計算因果圖中的條件分布，獲得變量之間的因果關(guān)系。有向圖指導(dǎo)我們使用這些條件分布來消除估計偏差，其核心也是估計檢驗分布、消除其他變量帶來的偏差。

Pearl框架和Rubin框架有一些關(guān)聯(lián)，簡單圖中，Potential Outcome模型中通過工具變量和匹配法消除估計偏差和Pearl的框架思想是一致的。

但是Pearl的框架可以處理多個變量之間相互作用的復(fù)雜關(guān)系。

總結(jié)來說，Potential Outcome和Causal Graph是兩種互補的推測虛擬事實的方法，目的都是為了計算存在混淆變量時，干預(yù)變量時對結(jié)果的影響，都需要對因果關(guān)系作假設(shè)，以及控制帶來偏差的變量；不同點在于Rubin框架估計的因果效應(yīng)主要是干預(yù)前后的期望差值，而Pearl框架下，我們估計的是干預(yù)前后的分布差異，Rubin框架解決的問題是因果效應(yīng)的估計和統(tǒng)計推斷，Pearl框架更偏向于因果關(guān)系的識別。

從這兩種框架延伸，在不同情景下，快手會使用不同工具解決實際問題，AB實驗幫助我們觀測策略或產(chǎn)品變動影響，在一些不能做實驗或者多個實驗相結(jié)合的場景下，會有一些其他的方法，下面會對具體方法展開介紹。

02 基于觀測數(shù)據(jù)或?qū)嶒灁?shù)據(jù)的因果推斷技術(shù)案例

1. 產(chǎn)品功能的評估：DID及其拓展案例

雙重差分適用于存在不可觀測的個體固定效應(yīng)場景，通過差分消除固定效應(yīng)，其關(guān)鍵假設(shè)是，政策干擾前存在平行趨勢，且實驗干擾效應(yīng)不隨時間變化。雙重差分可以用來消除那些對后期可能存在干擾因素，得到實驗效果估計。

雙重差分假設(shè)用戶開始受影響的時間是一樣的，實驗處理效應(yīng)對用戶的影響是一樣的，而這些假設(shè)難以滿足。比如穿云箭紅包，當實驗效果上線后，用戶的行為會發(fā)生變化，且不同用戶的行為是不一致的，當不同表現(xiàn)用戶都在實驗組，傳統(tǒng)的DID模型估計實驗效應(yīng)會產(chǎn)生偏差。因此我們在DID方法上進行修正，按照用戶的狀態(tài)是否更改分為不同類型，對不同類型用戶分別做DID估計，再進行加權(quán)平均，得到修正后DID實驗效果值。

當treatment施加到一個群體或者地區(qū)上時，很難找到單一的對照組，這種時候采用合成控制方法構(gòu)造虛擬對照組進行比較，原理是構(gòu)造一個虛擬的對照組，通過treatment前的數(shù)據(jù)上學(xué)習(xí)的權(quán)重，擬合實驗組在實驗開始前的數(shù)據(jù)，模擬實驗組用戶在沒有接受實驗情況下的結(jié)果，構(gòu)造合成控制組，實驗開始后，評估實驗組和合成控制組之間的差異。

2. 推薦策略的評估：因果推斷與機器學(xué)習(xí)

因果分析與機器學(xué)習(xí)存在一些差異點。因果分析的語言，核心在于因果關(guān)系的識別，即合理的估計處理前和處理后現(xiàn)有條件期望的差異，也可以是一種處理缺失數(shù)據(jù)的問題，在因果推斷上我們非常關(guān)心的是如何準確的估計結(jié)果以及結(jié)果的方差。而在機器學(xué)習(xí)中，我們使用準確度來衡量機器學(xué)習(xí)模型的好壞，其目標是在訓(xùn)練集上估計一個條件期望，使得測試集上MSE最小。機器學(xué)習(xí)可以通過cross-validation（模型參數(shù)）的方法去數(shù)據(jù)驅(qū)動的選擇一個最佳模型形式，與傳統(tǒng)計量經(jīng)濟學(xué)方法相比不需要復(fù)雜的假設(shè)，例如function form的假設(shè)，從這種意義上機器學(xué)習(xí)能夠更準確的預(yù)測。

但是在因果推斷問題上，機器學(xué)習(xí)的局限性在于，無論用什么機器學(xué)習(xí)方法，因果識別的條件都不能被放松；同時在機器學(xué)習(xí)模型通常使用的正則化和過擬合處理，會帶來有偏估計，因此我們需要消除這種估計的偏差；在統(tǒng)計推斷上，機器學(xué)習(xí)的局限性在于，有些模型不能直接計算方差，并且有時即使可以計算，方差的收斂速度也未必能夠達到預(yù)期，所以針對這些問題，下面介紹了幾種方法。

• ① 雙重機器學(xué)習(xí)模型

很多時候因果推斷會遇到混淆變量的問題，比如想要去分析直播推薦多樣性對用戶活躍度的影響，但是這些都和用戶歷史相關(guān)。傳統(tǒng)計量經(jīng)濟學(xué)方法可以解決這個問題，但是依賴很多強假設(shè)，強假設(shè)下，得到的估計不一定合理，雙重機器學(xué)習(xí)為這個問題提供了解決的思路。

雙重機器學(xué)習(xí)假設(shè)所有混淆變量都可以被觀測，其正則化過程能夠達到高維變量選擇的目的，與Frisch-Waugh-Lovell定理相似，模型通過正交化解決正則化帶來的偏差。

除了上面所描述的，還有一些問題待解決，比如在ML模型下存在偏差和估計有效性的問題，這個時候可以通過Sample Splitting 和 Cross Fitting的方式來解決，具體做法是我們把數(shù)據(jù)分成一個訓(xùn)練集和估計集，在訓(xùn)練集上我們分別使用機器學(xué)習(xí)來擬合影響，在估計集上我們根據(jù)擬合得到的函數(shù)來做殘差的估計，通過這種方法，可以對偏差進行修正。在偏差修正的基礎(chǔ)上，我們可以對整個估計方法去構(gòu)造一個moment condition，得到置信區(qū)間的推斷，從而得到一個有良好統(tǒng)計的估計。

• ② 因果隨機森林模型

我們通常探究策略對于不同用戶異質(zhì)性的影響，即哪些用戶更容易被影響以及影響有多大，傳統(tǒng)做法是多維分析，但是效率低，容易犯錯。這時可以結(jié)合機器學(xué)習(xí)的方法，這里選擇了決策樹方法，因為決策樹的分桶特性能夠幫助解決異質(zhì)性問題，相對于傳統(tǒng)方法因果樹做了兩點改動：

• 把數(shù)據(jù)分成訓(xùn)練集和估計集，一部分訓(xùn)練集去構(gòu)造樹，另一部分估計集去估計因果效應(yīng)和方差；
• 在樹的分區(qū)方式上，使用各個節(jié)點的方差對目標函數(shù)加以修正。

通常情況下，我們結(jié)合實驗來做分析。比如在實驗中，通過因果樹得到因果效應(yīng)的分布，然后挑選出來那些實驗效果顯著的用戶，去分析他們的特征，以及找到敏感用戶，幫助我們了解策略的影響，作出下一步迭代。

• ③ Meta-Learner for Uplift Modeling

Uplift-modeling是另一種定位敏感人群的方法，和因果樹的步驟有差別。核心是利用實驗數(shù)據(jù)對實驗結(jié)果變量建模，利用得到的模型估計條件平均處理效果。Uplift-modeling具有不同的學(xué)習(xí)方式，主要有S-Learner 、T-Learner和X-learner。和因果樹相比，Meta-Learner是一種間接建模方式，實現(xiàn)快但一些場景下誤差較大。

3. 用戶行為鏈路的研究：因果圖

我們通常通過因果圖來進行用戶行為鏈路的研究。Rubin流派常用來估計變量之間的一度關(guān)系，但當我們面對一些未知問題時，我們想了解的是有哪些變量真正影響我們關(guān)心的結(jié)果變量，以及變量之間的相互影響和用戶行為鏈路是什么，有效過程指標是什么，這些時候我們用到因果圖的方法。

在生成因果圖中，常遇到的限制是算法層面的，比如我們在優(yōu)化目標函數(shù)的時候，需要遍歷所有的因果圖，是一個NP-hard問題，我們需要有效的算法得到想要的估計，市面上的算法大概分為兩類：

• Constraint-based Algorithms
• Score-based Algorithms

03 復(fù)雜實驗設(shè)計

在實驗設(shè)計上我們通常遇到的難點是網(wǎng)絡(luò)效應(yīng)的檢測和應(yīng)對，在直播下，網(wǎng)絡(luò)效應(yīng)有好多種表現(xiàn)方式，在這種網(wǎng)絡(luò)效應(yīng)存在的情況下嘗試了一些方式，比如說：雙邊實驗、時間片輪轉(zhuǎn)實驗、合成控制方法。

1. 雙邊實驗設(shè)計

在雙邊實驗中，同時進行了主播側(cè)和觀眾側(cè)的分流，主播側(cè)一部分是上了掛件，觀眾側(cè)一部分能看到一部分看不到，雙邊實驗的優(yōu)點是可以同時檢測兩端的效果，同時可以幫助檢測到組間的轉(zhuǎn)移和溢出。在了解到組間溢出和干擾下，通過雙邊實驗我們可以更加準確的測算處理效應(yīng)，在掛件場景下，我們認為N3是代表完全沒有處理過的效果，Y代表處理后的結(jié)果，N3和Y進行差分，計算產(chǎn)品功能推全后的影響，而且，雙邊實驗?zāi)軌蚋玫膸椭覀儦w因。

然而雙邊實驗只能描述簡單的組間溢出，在個體和個體之間存在干擾的復(fù)雜情況下，雙邊實驗是無法幫助我們判斷實驗效果，例如直播PK暴擊時刻這種情況下，我們通過時間片輪轉(zhuǎn)實驗解決，即在一定實驗對象上進行實驗組策略和對照組策略的反復(fù)切換。

2. 時間片輪轉(zhuǎn)實驗

時間片輪轉(zhuǎn)的核心在于：

• 時間片的選擇
• 實驗總周期選擇
• 隨機切換時間點是什么樣子的

當時間粒度約粗糙，時間上的干擾造成的偏差會越小，但是方差會越大，影響實驗的檢驗效果，針對這個問題，采取的方案是最優(yōu)設(shè)計。

最優(yōu)設(shè)計的核心假設(shè)是：

• Outcome有一個絕對上界
• 用戶無法知曉下一個時間是否是實驗組
• 如果時間片之間存在干擾，干擾的影響是固定且有限的

當我們不知道一個時間片實驗時間節(jié)點如何設(shè)計時，通常采取的步驟是，預(yù)估一個時間，通過實驗確定carry over的階數(shù)下限是多少，根據(jù)階數(shù)下限，找到最優(yōu)切換時間點，再進行一次實驗，通過實驗組和對照組的選擇來進行因果效應(yīng)的估計。其缺點在于，實驗周期長，沒有辦法觀測到HTE (heterogeneous treatment estimation)。

04 問答環(huán)節(jié)

Q：DID和ABtest有什么區(qū)別？什么時候用DID不用ABtest？

A：兩種不同維度的方法，ABtest是說，在實驗對象上做出一些隨機的對照，然后進行比較，即便是這種AB實驗，我們遇到AB效果比較大的時候，也可以用DID來進行，DID不一定基于實驗來進行，可以比如根據(jù)不同用戶群來比較。

Q：雙重機器學(xué)習(xí)和PSM的結(jié)果有什么區(qū)別？

A：兩種不同維度的方法，PSM的核心假設(shè)是，我們先去估計了propensity Score ，基于propensity Score我們認為propensity Score相似的情況下treat與control組可以計算因果效應(yīng)，雙重機器學(xué)習(xí)是說，我們針對于混淆變量對于treatment的影響和混淆變量對于outcome的影響的function form是未知的，涉及到高維變量選擇的問題，同時需要兩步的估計，來得到我們想要估計的因果變量，是主要的差異。

Q：CIA假設(shè)往往不能滿足，應(yīng)該如何降低影響？

A：現(xiàn)在很多的包括雙重機器學(xué)習(xí)等方法都有很多的擴展，比如當有些合適的工具變量會有些合適的拓展的工具方法，另外可以通過一些matching的方法去構(gòu)造些滿足條件的樣本，但是這個東西也不是完全精確，很多時候需要靠人為的邏輯判斷。

Q：因果圖的結(jié)構(gòu)是預(yù)設(shè)的還是模型結(jié)構(gòu)輸出的？

A：主要是模型輸出的，但是在算法中我們可以限定哪些變量是父節(jié)點，哪些是子節(jié)點，如果最后結(jié)果與假設(shè)相悖，會發(fā)現(xiàn)假設(shè)的父節(jié)點下是沒有任何子節(jié)點的。

Q：如何評價因果圖判斷的準確性？

A：① 通過模擬數(shù)據(jù)看準確性；② 通過實驗數(shù)據(jù)，在有限的檢驗方式下，我們發(fā)現(xiàn)其結(jié)論是比較Robust，當然理論上可能還需要些證明。

今天的分享就到這里，謝謝大家。

分享嘉賓

編輯：王菁

校對：林亦霖