AB測(cè)試來(lái)源及適用場(chǎng)景
「原理」這個(gè)專題,主要介紹數(shù)據(jù)分析師的常用分析方法和原理。我們先從目前最常用的AB-Test講起。
AB測(cè)試簡(jiǎn)介
越來(lái)越多的公司重視AB測(cè)試,按照筆者的經(jīng)驗(yàn),之前會(huì)Excel就行,SQL是加分項(xiàng)。后來(lái)變成了必須懂SQL,AB測(cè)試是加分項(xiàng)。再到后來(lái)變成了,AB測(cè)試和SQL都是必會(huì)的東西。
因?yàn)閺?5年至今,人口紅利肉眼可見(jiàn)的減少,流量競(jìng)爭(zhēng)從增量競(jìng)爭(zhēng)變成了存量競(jìng)爭(zhēng)。截至2020年底,互聯(lián)網(wǎng)用戶已經(jīng)高達(dá)10億。微信,支付寶,頭條,抖音這些巨型APP基本已經(jīng)瓜分了用戶的大部分時(shí)間,別的APP想要存活及增長(zhǎng),精細(xì)化運(yùn)營(yíng)就變成了必須。
精細(xì)化從技術(shù)上,又無(wú)法避免AB測(cè)試。往往產(chǎn)品的認(rèn)知并不是用戶的認(rèn)知,所以我們需要去測(cè)試,去實(shí)驗(yàn)用戶的喜好。選擇一個(gè)用戶偏愛(ài)的功能上線,才會(huì)不斷提高用戶滿意度,我們的APP才能活下來(lái),并有一定程度的增長(zhǎng)。
AB測(cè)試是借鑒了實(shí)驗(yàn)的思維,目標(biāo)是為了歸因。通俗來(lái)說(shuō),就是我們想把條件分開(kāi),明確的知道,哪種條件下,用戶會(huì)買(mǎi)賬。這就需要三個(gè)條件:有對(duì)照組,隨機(jī)分配用戶,且用戶量足夠。
最早的AB測(cè)試本身是起源于醫(yī)學(xué)。當(dāng)一個(gè)藥劑被研發(fā)后,醫(yī)學(xué)工作人員需要評(píng)估藥劑的效果。一般就會(huì)選擇兩組用戶(隨機(jī)篩選的用戶),構(gòu)建實(shí)驗(yàn)組和對(duì)照組。用這兩組用戶來(lái)“試藥”。也就是實(shí)驗(yàn)組用戶給真的藥劑,對(duì)照組用戶給安慰劑,但是用戶本身不知道自己是什么組,只有醫(yī)生指導(dǎo)。之后,在后期的觀察中,通過(guò)一些統(tǒng)計(jì)方法,驗(yàn)證效果的差異性是否顯著,從而去校驗(yàn)藥劑是否達(dá)到我們的預(yù)期效果。
這個(gè)就是最早期的醫(yī)學(xué)“雙盲實(shí)驗(yàn)”。互聯(lián)網(wǎng)行業(yè)其實(shí)也差不多是這么用。我們需要確認(rèn)的是,當(dāng)前改版,是否有效果,也就是說(shuō),我們需要驗(yàn)證效果的“藥劑”變成了一個(gè)“改版”。
業(yè)務(wù)把將web或者app界面或者流程,拆分為多個(gè)版本。然后將流量分層(或者分流),不同的人群使用的某個(gè)功能或者觸發(fā)的策略不同。但是這里的人群一定要滿足同質(zhì)化的特性。所以無(wú)論分層還是分流,我們都需要將用戶隨機(jī)分配,且同一用戶不能處在兩個(gè)組內(nèi)。
通俗來(lái)說(shuō),AB測(cè)試是一種互聯(lián)網(wǎng)人口紅利減少的背景下,為了提高用戶滿意度,留下用戶而使用的一種利用數(shù)學(xué)原理來(lái)精細(xì)化運(yùn)營(yíng)的評(píng)估方法。
AB測(cè)試適用場(chǎng)景
AB測(cè)試流程
知識(shí)點(diǎn)總結(jié)

推薦閱讀
歡迎長(zhǎng)按掃碼關(guān)注「數(shù)據(jù)管道」
