指標(biāo)波動(dòng)一般排查步驟

1. 波動(dòng)特征分析
• 是否具有周期性，如果是周期性數(shù)據(jù)波動(dòng)，那么需要檢查：
  ——波動(dòng)的幅度是否和先前差不多；
  ——波動(dòng)發(fā)生的“人貨場(chǎng)”是否和先前整體一致；
• 波動(dòng)是突發(fā)性還是持續(xù)性：
  ——如果是業(yè)務(wù)操作變化或者外部事件，數(shù)據(jù)通常是突發(fā)波動(dòng)，e.g.微博的輿論事件對(duì)應(yīng)的轉(zhuǎn)發(fā)量等；
  ——如果是持續(xù)的，說(shuō)明有個(gè)暗坑(很早就有)，也可能是業(yè)務(wù)本身有問(wèn)題或者生命周期特殊階段；
2. 嚴(yán)重程度判斷
• 波動(dòng)幅度的大小，可以是百分比或者絕對(duì)量， 的閾值要依賴(lài)業(yè)務(wù)來(lái)決定，e.g.成功率波動(dòng)0.2%以上可能就是比較嚴(yán)重的問(wèn)題；
• 波動(dòng)對(duì)比參照值，同比、環(huán)比、近N天等
3. 定位問(wèn)題環(huán)節(jié)
   對(duì)變化量 在人貨場(chǎng)3個(gè)維度(或者其他業(yè)務(wù)維度也可以)進(jìn)行拆分，以定位指標(biāo)變化的主要環(huán)節(jié)：
• 人(用戶(hù))，新客還是老客，免費(fèi)還是付費(fèi)用戶(hù)？
• 貨(商品)，是什么品類(lèi)，什么欄目；
• 場(chǎng)(場(chǎng)景)，分為時(shí)間和空間兩個(gè)角度
  ——時(shí)間，什么時(shí)候開(kāi)始的，持續(xù)了多久？
  ——空間，哪個(gè)渠道入口？什么業(yè)務(wù)環(huán)節(jié)？什么業(yè)務(wù)中斷，什么設(shè)備類(lèi)型等\
4. 檢查數(shù)據(jù)質(zhì)量，如果是所有維度或者主要維度一起掉，那很可能是產(chǎn)品操作，比如發(fā)版或者新功能上線影響。
• 數(shù)據(jù)質(zhì)量問(wèn)題，e.g.抽取的數(shù)據(jù)不完整
• 底層數(shù)據(jù)是否有變動(dòng)，e.g.新增表、增加業(yè)務(wù)項(xiàng)或數(shù)據(jù)維度等；
• 數(shù)據(jù)處理過(guò)程，業(yè)務(wù)邏輯是否發(fā)生變化；
5. 按原因概率順序排查
• 先看和對(duì)應(yīng)業(yè)務(wù)環(huán)節(jié)相關(guān)聯(lián)的產(chǎn)品或者運(yùn)營(yíng)操作有沒(méi)有變化，e.g.產(chǎn)品策略、運(yùn)營(yíng)活動(dòng)覆蓋范圍等；
• 在從業(yè)務(wù)環(huán)節(jié)從頭到尾每個(gè)環(huán)節(jié)檢查一下；
• 也可以從業(yè)務(wù)參與元素人貨場(chǎng)等要素看結(jié)構(gòu)變動(dòng)；
• 上述都是內(nèi)部因素，如果內(nèi)部排查沒(méi)有問(wèn)題，那就要考慮外部影響，比如競(jìng)品、輿論事件、新政策等；
6. 用數(shù)據(jù)驗(yàn)證假設(shè)
   基于業(yè)務(wù)形成假設(shè)，然后用數(shù)據(jù)進(jìn)行驗(yàn)證。
   如果找到引起指標(biāo)波動(dòng)的蛛絲馬跡，那就要形成相應(yīng)的假設(shè)，再通過(guò)數(shù)據(jù)去驗(yàn)證，有現(xiàn)成數(shù)據(jù)最好，實(shí)在不行再考慮A/B測(cè)試這類(lèi)成本高的方式。

數(shù)據(jù)上表現(xiàn)的周期性變化主要因素有3方面：

1. 人(用戶(hù))的行為活動(dòng)的周期性，包括和人相關(guān)的自然節(jié)律
• e.g. 夜間23:00-早上6:00基本是在休息，所以app的活躍比白天低；
• e.g. 一日三餐的用餐時(shí)間相對(duì)固定，上下班時(shí)間相對(duì)固定；
• e.g. 工作日上班，節(jié)假日休息；
• e.g. 夏天會(huì)買(mǎi)短袖/褲/裙、風(fēng)扇/空調(diào)等降溫設(shè)備、遮陽(yáng)傘/防曬霜等遮陽(yáng)設(shè)備等，冬天買(mǎi)秋衣/褲、暖寶寶/電熱扇/暖氣片等保暖設(shè)備；
• e.g. 在特定的年齡段有相應(yīng)的主要活動(dòng)，比如上學(xué)、工作、婚育、養(yǎng)老等；

人行為的周期性或穩(wěn)定性可以體現(xiàn)在不同的場(chǎng)景下，比如手機(jī)充電時(shí)間段、電量變化、亮屏?xí)r長(zhǎng)等，可以判斷手機(jī)是“真人”在用，同樣基于行為的穩(wěn)定性可以判斷賬戶(hù)是否被盜用等；


2. 社會(huì)活動(dòng)的周期性，包括行業(yè)特殊日期或活動(dòng)
• e.g. 節(jié)假日，五一、國(guó)慶、春節(jié)、七夕(或者5.20)、雙11等；
• e.g. 學(xué)校的暑假、寒假以及春秋季開(kāi)學(xué)，電商平臺(tái)會(huì)促銷(xiāo)學(xué)習(xí)用品；
• e.g. 定期舉行的具有較大影響力的公開(kāi)集會(huì)或者活動(dòng)，比如廣交會(huì)、世界杯、NBA賽事等；
3. 產(chǎn)品上的周期性
• e.g. 唯品會(huì)的早10晚8上新、固定時(shí)段的大促活動(dòng)等；
• e.g. 產(chǎn)品發(fā)布會(huì)，比如蘋(píng)果/華為/小米手機(jī)新品發(fā)布會(huì)等；
• e.g. 會(huì)員日(用戶(hù)養(yǎng)成習(xí)慣會(huì)在當(dāng)日消費(fèi))，比如信用卡的周末活動(dòng)等；
• e.g. 還款日，發(fā)工資日；

數(shù)據(jù)上的突發(fā)性變化通常和產(chǎn)品運(yùn)營(yíng)操作有關(guān)。

• e.g. 新發(fā)布的app版本埋點(diǎn)有缺失，導(dǎo)致少算數(shù)據(jù)；
• e.g. 某天新上線了一個(gè)交易入口或者拉新渠道；
• e.g. 運(yùn)營(yíng)搞了一個(gè)有上萬(wàn)人參加的活動(dòng)；

引起指標(biāo)波動(dòng)的因素很大程度上就是指標(biāo)的影響因素，對(duì)于關(guān)鍵指標(biāo)的常見(jiàn)影響因素(無(wú)論是內(nèi)部還是外部)，最好能定量分析相應(yīng)的影響量，不管是否具有穩(wěn)定性，得到一個(gè)參考范圍也是好的。

可以按可控性、穩(wěn)定性?xún)蓚€(gè)維度對(duì)影響因素分類(lèi)。

• 穩(wěn)定是指定量分析得到的影響量相對(duì)穩(wěn)定或者具有較強(qiáng)的規(guī)律性；
• 可控是指可以通過(guò)產(chǎn)品或運(yùn)營(yíng)的方法來(lái)引導(dǎo)用戶(hù)的認(rèn)知和行為，進(jìn)而改善關(guān)鍵指標(biāo)，這些因素背后對(duì)應(yīng)著可以操作(改變/驅(qū)動(dòng))的行為。在業(yè)務(wù)上重點(diǎn)關(guān)注可控因素，一般內(nèi)部因素(人貨場(chǎng)等)相對(duì)可控。
• 對(duì)于可控的因素應(yīng)該提前知曉，比如業(yè)務(wù)線上的產(chǎn)品運(yùn)營(yíng)操作，最好能事先得知業(yè)務(wù)方的操作，可以通過(guò)數(shù)據(jù)需求、周會(huì)或者wiki記錄等形式讓大家都知道這件事。

引發(fā)指標(biāo)波動(dòng)的內(nèi)部因素

用戶(hù)結(jié)構(gòu)變化

建議做同期群分析，區(qū)分用戶(hù)屬性以及用戶(hù)質(zhì)量相關(guān)的指標(biāo)下的分布情況來(lái)看用戶(hù)結(jié)構(gòu)的變化。

• 用戶(hù)屬性：e.g.新老客、來(lái)源渠道、所在地、賬號(hào)類(lèi)型、會(huì)員類(lèi)型等；
• 和用戶(hù)質(zhì)量相關(guān)的指標(biāo)：
• 轉(zhuǎn)化率、留存率、下單率、ARPU\ARPPU\客單價(jià)等；
• 訪問(wèn)時(shí)長(zhǎng)、訪問(wèn)深度、主要訪問(wèn)的頁(yè)面分布、最后跳出頁(yè)面等；

用戶(hù)結(jié)構(gòu)的動(dòng)態(tài)變化通?？赡苡扇缦略?qū)е拢?/p>

• 引流渠道質(zhì)量低，e.g.大多數(shù)用戶(hù)來(lái)了就走(留存率很低);
• 虛假流量，比如刷機(jī)、爬蟲(chóng)操作，一般從訪問(wèn)設(shè)備、網(wǎng)絡(luò)、IP等“環(huán)境信息”或者是否領(lǐng)取和使用新人禮、是否完成了新人引導(dǎo)等行為特征就能較容易地識(shí)別出來(lái)(基于規(guī)則)，當(dāng)然基于典型的用戶(hù)行為也能識(shí)別出“異?！庇脩?hù)(基于規(guī)則或算法)；
• 異常用戶(hù)，比如羊毛黨；
• 特殊時(shí)段活躍的用戶(hù)群，通常具有周期性，比如放暑假的孩子；
• 另外，商品結(jié)構(gòu)的調(diào)整也可能導(dǎo)致用戶(hù)結(jié)構(gòu)改變；

商品或服務(wù)調(diào)整

• 用戶(hù)交易決策中的商品因素變化：價(jià)格、促銷(xiāo)、便利性等；
• 商品供應(yīng)：寬度(品類(lèi)數(shù))、深度(SKU數(shù)量是否充足)；
• 商品結(jié)構(gòu)或者服務(wù)發(fā)生變化，e.g.引入新品類(lèi)、VIP服務(wù)漲價(jià)、權(quán)益變更等；

產(chǎn)品運(yùn)營(yíng)活動(dòng)

畢竟產(chǎn)品運(yùn)營(yíng)活動(dòng)的目的就是讓數(shù)據(jù)指標(biāo)發(fā)生變化，不過(guò)有時(shí)可能出現(xiàn)非期望的改變。

• 頁(yè)面改動(dòng)，e.g.某個(gè)banner位取消了或其他頁(yè)面元素調(diào)整，交互調(diào)整；
• 功能改動(dòng)，e.g.上線新版app，有bug；
• 策略改動(dòng)，e.g.商品推薦策略、搜索排序策略、用戶(hù)引導(dǎo)策略等；
• 活動(dòng)廣度(e.g.覆蓋的用戶(hù)數(shù)、商品數(shù)、訂單數(shù)、訂單額的比例)和深度(e.g.優(yōu)惠力度、折扣率等)的穩(wěn)定性；
• 活動(dòng)投放的渠道(用戶(hù)群)、活動(dòng)配置的規(guī)則等；

引發(fā)指標(biāo)波動(dòng)的外部因素

PEST相關(guān)的因素。

• 行業(yè)：行業(yè)整體數(shù)據(jù)是否都趨于上升或下降趨勢(shì)，相當(dāng)于觀察行業(yè)的生命周期?？梢酝ㄟ^(guò)市場(chǎng)滲透率、用戶(hù)或交易增長(zhǎng)情況、行業(yè)招聘人員的數(shù)量趨勢(shì)、行業(yè)吸引投資(數(shù)量及金額)的趨勢(shì)等判斷行業(yè)的生命周期；
• 市場(chǎng)：競(jìng)爭(zhēng)者在搞事情或者有新玩家加入爭(zhēng)奪市場(chǎng)份額；
• 政策：政策因素通常對(duì)整個(gè)行業(yè)都有影響的，需要關(guān)注新出臺(tái)的政策或政策調(diào)整，比如政策更加寬松或嚴(yán)格、有政府補(bǔ)貼等；
• 時(shí)事&輿論：突發(fā)的時(shí)事或輿論、事故、自然災(zāi)害
• e.g.《舌尖上的中國(guó)3》播出后，章丘鐵鍋大賣(mài)；
• e.g. 無(wú)錫大貨車(chē)超載導(dǎo)致橋塌，導(dǎo)致本地政策調(diào)整，嚴(yán)禁超載，接著貨運(yùn)費(fèi)用增加；
• e.g. 2020年新冠疫情，在線服務(wù)的需求量增加；