“A/B測試不一定是最好的評估方法。它不是萬能的，但不會(huì)A/B測試肯定是不行的。”

字節(jié)跳動(dòng)副總裁楊震原在一次分享會(huì)上，表達(dá)了他對于A/B測試的理解。

楊震原認(rèn)為：A/B測試是字節(jié)跳動(dòng)一項(xiàng)非?；A(chǔ)的工具，從公司成立之初就在使用，支撐了抖音、今日頭條等產(chǎn)品的增長迭代。目前，字節(jié)跳動(dòng)A/B測試每日新增1500+實(shí)驗(yàn)，服務(wù)于400多項(xiàng)大大小小的業(yè)務(wù)，累計(jì)做了70多萬次實(shí)驗(yàn)。這項(xiàng)工具已經(jīng)實(shí)現(xiàn)產(chǎn)品化，通過火山引擎向企業(yè)客戶開放。

A/B測試廣泛應(yīng)用于字節(jié)跳動(dòng)方方面面，包括產(chǎn)品命名、交互設(shè)計(jì)、推薦算法等。但楊震原表示，這項(xiàng)工具也存在很多應(yīng)用局限，比如獨(dú)立性、置信度、長短期等問題。

其實(shí)為了幫助提升創(chuàng)新產(chǎn)品的成功率，頭條內(nèi)部甚至研發(fā)出了一套增長引擎，可能你們公司的幾個(gè)產(chǎn)品運(yùn)營還在糾結(jié)功能按鈕排序時(shí)，人家頭條已經(jīng)同時(shí)進(jìn)行幾十組甚至上百組的 A/B 測試，幫助產(chǎn)品經(jīng)理和運(yùn)營們找最優(yōu)方案。

 

大數(shù)據(jù)時(shí)代，每個(gè)公司都在說數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品和業(yè)務(wù)的快速迭代，但是要看這間公司到底是不是真·數(shù)據(jù)驅(qū)動(dòng)，最關(guān)鍵的就是要看它決策流程中到底有沒有 A/B 測試這一環(huán)節(jié)，來提供值得信賴的結(jié)果，輔助產(chǎn)品決策。

 

             

產(chǎn)品決策流程

 

就好比一個(gè)剛剛研制成功的藥品，不經(jīng)過臨床實(shí)驗(yàn)就直接推入市場，去治療病人，那承擔(dān)的風(fēng)險(xiǎn)是非常高的。因?yàn)檫@樣不僅可能無法治愈病人，甚至還可能會(huì)產(chǎn)生嚴(yán)重的副作用。而A/B測試，就是保證這個(gè)關(guān)鍵環(huán)節(jié)不出現(xiàn)問題的最佳方案。

 

那用 A/B 測試，到底可以來解決什么具體的業(yè)務(wù)問題嗎？我給你一張總結(jié)的表格。 

              

可以說， A/B 測試在產(chǎn)品迭代、算法優(yōu)化、市場營銷等領(lǐng)域都發(fā)揮了巨大作用，越來越多的公司開始使用 A/B 測試，對人才的需求量也越來越大。無論是偏技術(shù)的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師，還是偏業(yè)務(wù)和產(chǎn)品的市場營銷分析師、產(chǎn)品經(jīng)理以及增長黑客，都需要在工作中掌握和應(yīng)用 A/B 測試，A/B 測試也是這些職位面試中必考的一塊內(nèi)容。

 

 

學(xué)習(xí) A/B 測試的高效路徑是什么？

 

但學(xué)A/B 測試有個(gè)難點(diǎn)。這是一門實(shí)踐性很強(qiáng)的工具，如果你只有理論基礎(chǔ)而沒有實(shí)踐經(jīng)驗(yàn)，那么實(shí)踐過程由于業(yè)務(wù)場景千變?nèi)f化，可能就會(huì)有各種各樣潛在的陷阱在等著你。只有兼顧了理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)，才能得出值得信賴的測試結(jié)果。

 

我這里有一套最佳學(xué)習(xí)路徑流程，如下圖

       

學(xué)習(xí)路徑

 

這張圖出自在美國硅谷科技巨頭工作的張博偉和極客時(shí)間合作的專欄《A/B 測試從 0 到 1》。在專欄里，張博偉老師會(huì)先帶你建立起一個(gè)做 A/B 測試的框架，讓你在應(yīng)對不同業(yè)務(wù)場景時(shí)，都能通過框架來按圖索驥，靈活運(yùn)用。

 

新人首單￥59

拼團(tuán)+口令「happy2021」到手僅 ￥69

張博偉是誰？

 

張博偉，從畢業(yè)后就一直在美國互聯(lián)網(wǎng)大廠 FLAG 工作，目前是一名資深數(shù)據(jù)科學(xué)家。在過去的7年多時(shí)間里，一直在做A/B測試、機(jī)器學(xué)習(xí)建模、大數(shù)據(jù)分析的相關(guān)工作。

 

張博偉老師曾參與從設(shè)計(jì)測試、實(shí)施測試到最后分析測試結(jié)果的全過程，后來逐步在團(tuán)隊(duì)中主導(dǎo) A/B 測試領(lǐng)域的相關(guān)工作，開發(fā)相關(guān)數(shù)據(jù)產(chǎn)品，還和工程團(tuán)隊(duì)合作來改進(jìn)內(nèi)部的 A/B 測試平臺(tái)，通過持續(xù)的 A/B 測試為公司的新業(yè)務(wù)帶來上百萬用戶的增長，也為數(shù)據(jù)分析、營銷和產(chǎn)品團(tuán)隊(duì)提供數(shù)十場 A/B 測試的講座和上百次的咨詢，講解 A/B 測試的最佳實(shí)踐以及避坑經(jīng)驗(yàn)。

 

怎么帶你學(xué) A/B 測試？

 

張博偉老師結(jié)合他的從業(yè)經(jīng)驗(yàn)，從統(tǒng)計(jì)原理、基本流程和進(jìn)階實(shí)戰(zhàn)三個(gè)層面，為你梳理出了一條學(xué)習(xí) A/B 測試的最佳路徑。

 

 

• 第一模塊是“統(tǒng)計(jì)篇”：

 

想要做好 A/B 測試，統(tǒng)計(jì)原理的學(xué)習(xí)不可或缺。老師精選了與 A/B 測試密切相關(guān)的統(tǒng)計(jì)理論，主要講解 A/B 測試的理論基礎(chǔ)-假設(shè)檢驗(yàn)，以及 A/B 測試指標(biāo)的統(tǒng)計(jì)屬性這兩塊知識(shí)，讓你有針對性的學(xué)習(xí)理論知識(shí)，真正打好做 A/B 測試的理論基礎(chǔ)。

 

• 第二模塊是“基礎(chǔ)篇”：

 

在這個(gè)模塊，老師梳理了做 A/B 測試的幾個(gè)關(guān)鍵步驟，包括確定目標(biāo)和假設(shè)、確定指標(biāo)、選取實(shí)驗(yàn)單位、計(jì)算所需樣本大小，以及分析測試結(jié)果。會(huì)在講解流程的同時(shí)，也告訴你背后的原理，幫助你在實(shí)際應(yīng)用時(shí)能舉一反三。

 

• 第三模塊是“進(jìn)階篇”：

 

想要讓做 A/B 測試的技能更上一層樓，你還需要能夠識(shí)別那些在實(shí)際業(yè)務(wù)場景中潛在的坑，掌握相應(yīng)的解決方法；了解 A/B 測試的適用范圍及替代方法；同時(shí)老師也會(huì)帶你掌握面試中關(guān)于 A/B 測試的常見考點(diǎn)及應(yīng)對方法；手把手帶你制作實(shí)用的樣本量計(jì)算器，來解決網(wǎng)上工具參差不齊、適用范圍有限等問題。

        

挺多人表示課程很有用，我截幾個(gè)給你看看：

 

新人首單￥59

老用戶拼團(tuán)+口令「happy2021」到手僅 ￥69

 

點(diǎn)擊「閱讀原文」，一頓飯錢，從原理到實(shí)戰(zhàn)，吃透A/B測試。