Bootstrap方法在AB TEST中的應(yīng)用
???前言
實(shí)驗(yàn)樣本量太小，即便可能存在效應(yīng)也無法有效的檢驗(yàn)出顯著的效果 檢驗(yàn)指標(biāo)構(gòu)造復(fù)雜，如兩隨機(jī)變量的商構(gòu)造的指標(biāo)，例如CTR=CLICK/PV，此處PV、CLICK均為隨機(jī)變量，在計(jì)算CTR的方差時(shí)，需要采用不同的計(jì)算方法來近似計(jì)算方差。 樣本數(shù)據(jù)傾斜嚴(yán)重，頭部效應(yīng)明顯，個(gè)別樣本會(huì)嚴(yán)重影響整體效果的差異。
???基本思想
Where there is sample, there is uncertainty。
???簡(jiǎn)單的推導(dǎo)過程
用 Bootstrap 來計(jì)算估計(jì)量的 SE, BIAS
前面講過，Bootstrap 就是多次抽樣，這樣就得到了 Empirical dist. ，而我們的估計(jì)量則是 。我們先來看SE，考慮
我們使用 "Plug-in" Priniciple，則
其中的 為 B 個(gè) Bootstrap 估計(jì)量的均值；分母用了B-1是為了無偏。于是我們得到了SE的 Bootstrap 估計(jì)公式
對(duì)于BIAS
用 Bootstrap 來計(jì)算估計(jì)量的 CI
我們主要介紹3種常用的 Bootstrap 計(jì)算 CI 的方法。
標(biāo)準(zhǔn) Bootstrap（SB）
百分位數(shù) Bootstrap（PB）
百分位數(shù)的 Bootstrap 直接用的分布來估計(jì)，我們通過 Bootstrap 構(gòu)造了一個(gè)的分布，則實(shí)際的區(qū)間估計(jì)可以用的分位數(shù)直接進(jìn)行估計(jì)，的置信區(qū)間為：
t百分位數(shù)Bootstrap（PTB)
結(jié)果比較
| 常規(guī)方法 | SB | PB | PTB | |
|---|---|---|---|---|
| 置信區(qū)間 | [1477,1503] | [1479,1502] | [1479,1502] | [1480,1502] |
| 寬度 | 26 | 23 | 23 | 22 |
???應(yīng)用實(shí)例?
則
???Bootstrap&Jackknife
抽樣方法不同。Bootstrap 采用的是「有放回抽樣」，jackknife采用的是「無放回抽樣」。 Jackknife 在解決不光滑 (Smooth) 參數(shù)估計(jì)時(shí)會(huì)失效，而 Bootstrap 可以解決這個(gè)問題，例如中位數(shù)，分位數(shù)等估計(jì)量。 若統(tǒng)計(jì)量是線性的，二者的結(jié)果會(huì)非常接近。雖然從表面上看，Jackknife 似乎只利用了非常有限的樣本信息。對(duì)于非線性統(tǒng)計(jì)量而言，Jackknife 會(huì)有信息損失，此時(shí) Bootstrap 較好。這是因?yàn)椋琂ackknife 可以視為 Bootstrap 的線性近似。換言之，Jackknife 的準(zhǔn)確程度取決于統(tǒng)計(jì)量與其線性展開的接近程度。
???總結(jié)
【阿里媽媽數(shù)據(jù)科學(xué)系列】持續(xù)更新，歡迎關(guān)注！
【阿里媽媽數(shù)據(jù)科學(xué)系列】第二篇：在線分流框架下的AB Test
【阿里媽媽數(shù)據(jù)科學(xué)系列】第三篇：離線抽樣框架下的AB Test
評(píng)論
圖片
表情