3分鐘，看懂ABtest基本原理

↑ 點擊上方 “碼工小熊” 關(guān)注 + 星標(biāo) ~ 

第一時間獲取最新內(nèi)容哦  

大家好，我是愛學(xué)習(xí)的小xiong熊妹。

今天跟大家分享的是萬眾期待的ABtest原理。其實ABtest的難度主要在開發(fā)上：開發(fā)新版本、進(jìn)行測試、測試數(shù)據(jù)回傳保存等等。在數(shù)據(jù)上，ABtest原理很簡單，只要上一篇《3分鐘，看懂假設(shè)檢驗》認(rèn)真看了的話，能很輕松get哦！

一、ABtest的基本原理

簡單來說，ABtest就是當(dāng)我們在A、B兩個方案之間猶豫不決的時候，直接把兩個方案測試一把，看看哪個效果好，把測試結(jié)果作為參考依據(jù)。

因為是抽樣測試，所以需要一些統(tǒng)計學(xué)方法，估計是否測試能代表整體情況，因此要引用統(tǒng)計學(xué)方法。

二、ABtest如何做

ABtest本質(zhì)上是一個：兩總體假設(shè)檢驗問題，要檢驗A、B兩個版本是一樣，還是有所區(qū)別。和之前介紹的單總體假設(shè)檢驗一樣，兩總體假設(shè)檢驗，也分步驟：

• 第一步：明確要檢驗的A、B兩個對象
• 第二步：明確要檢驗的指標(biāo)，是平均值，還是比例
• 第三步：根據(jù)檢驗?zāi)康模o出原假設(shè)/備選假設(shè)
• 第四步：根據(jù)要檢驗的指標(biāo)，選擇檢驗統(tǒng)計量（是不是頭都看大了，其實沒關(guān)系，大部分統(tǒng)計軟件，包括excel，都有提供兩樣本均值的t檢驗，直接用即可）。

• 第五步：給定顯著性水平，計算統(tǒng)計量，得出結(jié)果：支持原假設(shè)還是推翻原假設(shè)
  
  

這里的原理和假設(shè)檢驗是一模一樣的，小伙伴們可簡單理解成：檢驗的是兩個方案的均值/比例，是否等于0。

是不是頭又看大了，沒關(guān)系，這些計算結(jié)果在統(tǒng)計軟件中都可以直接給出。小伙伴們只要記得：P值小于0.05推翻原假設(shè)，就OK啦！

三、ABtest小例子

來看個具體例子：某電商平臺，想提升用戶客單價，運(yùn)營部門做了兩套方案：A、B激勵方案，想小規(guī)模投放優(yōu)惠給用戶，測試下效果。已選出兩組各12名用戶，測試用戶客單價如下圖所示。此時可以用excel自帶的兩總體t檢驗功能來做

• 第一步，先準(zhǔn)備好A、B兩個方案的數(shù)據(jù)

  
  

• 第二步：明確，要檢驗的是平均值（檢驗兩個方案的平均客單價是否一致）
  
• 第三步：給出原假設(shè)。這里可以簡單處理，提假設(shè)

原假設(shè)：方案A客單價均值=方案B客單價均值

備選假設(shè)：兩者不相等

這樣懟翻了原假設(shè)，就說明方案A和方案B有差異啦（記得把要懟翻的放原假設(shè)哦）

• 第四步：代入t檢驗公式計算

• 第五步：解讀結(jié)論

  
  

既然方案A與方案B不同，A的均值又高于B，那么就認(rèn)為A更好啦，搞掂！

這樣就做完啦！

四、ABtest的注意事項

注意1：測試目標(biāo)要清晰。在實際工作中，有些產(chǎn)品經(jīng)理/運(yùn)營的口頭禪就是：“AB一下看看”?？扇绻繕?biāo)都沒確定的話，連如何寫假設(shè)，如何找檢驗統(tǒng)計量都無法確定，更沒辦法定怎么測試了。

特別注意的是，在一次測試中，是很難兼容兩個目標(biāo)的。比如上邊的小例子，如果想提升用戶客單價，則要推的是貴的商品，要給的激勵是滿減型激勵，讓用戶買貴一點。

如果想提升用戶消費率，則要推的是便宜的商品，要給的激勵是秒殺/超低價，讓用戶先買一筆再說。這兩個目標(biāo)是很難在一個方案A/B里兼容的。

所以小伙伴們，千萬別信了產(chǎn)品經(jīng)理/運(yùn)營“你先測測看看”的鬼話。如果一開始目標(biāo)都很混亂，那方案肯定也是四不像，測出來結(jié)果亂七八糟，也是很正常的。事前不想清楚，事后只能瞎著急。

注意2：測試方案合理性。有些測試方案本身設(shè)計得就不合理，不是拿相似的方案測試，而是明顯一個方案很優(yōu)惠，一個很雞肋；一個設(shè)計很美觀，一個設(shè)計很丑陋。這種情況下測了也白測。測試方案本身，要是蘋果對蘋果，西瓜對西瓜才行。

注意3：測試對象相似性。還以上邊小例子舉例。參與測試的用戶群體，可能自身在客單價/消費力上就有差異。這種測試特征的差異，會直接導(dǎo)致：結(jié)果上的差異是由于客群特征，而非方案A/B造成的。這是最差的情況了，這樣不但會導(dǎo)致測試無效，而且會誤導(dǎo)業(yè)務(wù)判斷。

四、Abtest的局限性

正是由于有以上三點要求，導(dǎo)致ABtest是有門檻的：

• 要有能力設(shè)計相近版本方案
• 要有足夠開發(fā)支持，把方案落地
• 要有足夠的用戶數(shù)據(jù)，區(qū)分用戶特征

這些使得ABtest只有在數(shù)據(jù)充足、開發(fā)資源充足、業(yè)務(wù)方資源充足且沒有私心的時候，才能完美落地。因此，雖然ABtest的原理很簡單，但是具體應(yīng)用，還需要結(jié)合實際情況做考慮。具體細(xì)節(jié)，后續(xù)再分享。

以上就是今天的分享，喜歡的話，記得轉(zhuǎn)發(fā)、點贊、在看，支持一下小熊妹哦，謝謝大家。

▼

往期精彩回顧

▼

九大數(shù)據(jù)分析方法之：周期性分析法

九大數(shù)據(jù)分析方法：結(jié)構(gòu)分析法

九大數(shù)據(jù)分析方法：矩陣分析法

扎心了！數(shù)據(jù)分析十大真相

只需八步，做一個完整的數(shù)據(jù)分析

從0到1，輕松寫出數(shù)據(jù)分析報告

活動分析模板來了！對著抄

學(xué)習(xí)資料領(lǐng)取

小熊妹給大家整理了很多數(shù)據(jù)類的學(xué)習(xí)資料，歡迎領(lǐng)取哦，我打賭你會看的

點擊下面名片關(guān)注公眾號【碼工小熊】，在會話欄回復(fù)關(guān)鍵字即可領(lǐng)取！

1、回復(fù)【SQL】領(lǐng)取Mysql基礎(chǔ)查詢手冊。

2、回復(fù)【python合集】領(lǐng)取十份python學(xué)習(xí)資料。

另外，掃碼可添加小熊妹微信，交流學(xué)習(xí)數(shù)據(jù)知識哦。