圖源：《用戶畫像》

1.1 名詞解釋

1.2 實(shí)時數(shù)據(jù)與用戶畫像與各業(yè)務(wù)的結(jié)合

搭建熱點(diǎn)、潛力等緊隨時間的指標(biāo)和相關(guān)的排行榜，直接支持業(yè)務(wù)發(fā)展。

2）如何讓用戶畫像的篩選和分析能力最大化？

• 要全面覆蓋多維度用戶篩選的多種需求。

• 多角度、多方式覆蓋用戶分析。

3.1 整體業(yè)務(wù)架構(gòu)

• 應(yīng)用層：負(fù)責(zé)當(dāng)前我們的業(yè)務(wù)應(yīng)用，直接為業(yè)務(wù)提供工具或提供業(yè)務(wù)的某些模塊，與業(yè)務(wù)共擔(dān)目標(biāo)，為業(yè)務(wù)賦能。

• 業(yè)務(wù)模型層：支持應(yīng)用層建設(shè)和一定的實(shí)時分析能力，同時也作為業(yè)務(wù)某一個流程的功能模塊接入使用，為外部業(yè)務(wù)和自身應(yīng)用層建設(shè)，與業(yè)務(wù)共擔(dān)目標(biāo)，為業(yè)務(wù)賦能。

• 業(yè)務(wù)工具層：支持應(yīng)用層和業(yè)務(wù)模型層的開發(fā)，提供通用的工具，面向降低應(yīng)用層和業(yè)務(wù)模型層的建設(shè)成本，提升整體建設(shè)的工程效能，保證業(yè)務(wù)穩(wěn)定和數(shù)據(jù)質(zhì)量準(zhǔn)確。

• 基礎(chǔ)設(shè)施：技術(shù)中臺提供的基礎(chǔ)設(shè)施和云服務(wù)，提供穩(wěn)定可用的基礎(chǔ)功能，保證上層建筑的穩(wěn)定性。

  
  

3.2 實(shí)時數(shù)據(jù)的數(shù)據(jù)架構(gòu)選型

3.3 應(yīng)用層建設(shè)經(jīng)驗(yàn)分享

3.3.1 實(shí)時數(shù)據(jù)系統(tǒng)

1、依賴數(shù)據(jù)源多，計(jì)算規(guī)則復(fù)雜。以我們的播放量計(jì)算為例：

• 行為有多條，需要針對行為進(jìn)行去重。

• 過濾和加和規(guī)則很多，需要依賴多個數(shù)據(jù)源的不同數(shù)據(jù)結(jié)果進(jìn)行計(jì)算。

  
  

• 需要調(diào)度系統(tǒng)中，同時能識別 kafka 流消費(fèi)的進(jìn)度和任務(wù)完成情況。

• 需要嚴(yán)格拉齊多個依賴的消費(fèi)進(jìn)度，當(dāng)達(dá)到統(tǒng)一進(jìn)度后，集中進(jìn)行后續(xù)任務(wù)計(jì)算。
  

解決方案

搭建實(shí)時數(shù)據(jù)基座，建設(shè)相應(yīng)的數(shù)據(jù)模型，降低建設(shè)成本。

針對依賴數(shù)據(jù)眾多、計(jì)算規(guī)則復(fù)雜、質(zhì)量難以保證等問題。通過建設(shè)工具降低解決問題的成本。

• 通過建設(shè)實(shí)時數(shù)據(jù)集成和實(shí)時數(shù)據(jù)調(diào)度的能力，保障數(shù)據(jù)接入和數(shù)據(jù)模型建設(shè)的速度，降低接入時間，提升業(yè)務(wù)接入效率（具體見下方）

• 通過建設(shè)實(shí)時數(shù)據(jù)質(zhì)量中心，保障數(shù)據(jù)質(zhì)量，降低發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題的時間，提升發(fā)現(xiàn)效率，保證業(yè)務(wù)交付結(jié)果（具體見下方）

• Palo 集群在 0.14 版本中加入了 Runtime Filter 的過濾，針對 Join 大量 key 被過濾的情況有明顯提升；

• 該變更針對我們當(dāng)前的幾個業(yè)務(wù)調(diào)度性能，有明顯提升。時間從 40+s 提升至 10s 左右；
  
  

3.3.2 用戶畫像系統(tǒng) DMP

• 將用戶每 0 ～ 100 萬拆分為一組。

• 針對全部用戶的交并差，等價(jià)于對所有組用戶交并差后的并集。

• 針對全部用戶的交并差的總數(shù)，等價(jià)于對分組用戶交并差后的總數(shù)進(jìn)行 sum。
  ?

• 設(shè)置 bitmap 的分組參數(shù)，將分組設(shè)置為 colocate group。確保每個分組的交并差計(jì)算均在自己所在 BE 完成，無需 shuffle。

• 將 bitmap 表的分桶拆分更多，通過更多文件同時計(jì)算加速結(jié)果。

3、計(jì)算參數(shù)變更，提升并發(fā)。

由于計(jì)算過程通過分治的手段，拆分為多個小任務(wù)。通過提升并行度 parallel_fragment_exec_instance_num 再進(jìn)一步優(yōu)化計(jì)算速度。

效果
上線后，接入了知乎多個主要場景的業(yè)務(wù)，支持多業(yè)務(wù)方的人群定向和分析能力。為業(yè)務(wù)帶來曝光量、轉(zhuǎn)化率等直接指標(biāo)的提升。

同時在工具性能上，有如下表現(xiàn)：

• 導(dǎo)入速度。當(dāng)前每日 900+ 億行數(shù)據(jù)，在 3 小時內(nèi)完成導(dǎo)入。

• 人群預(yù)估。人群預(yù)估基本可在 1s 內(nèi)完成，P95 985ms。

• 人群圈選。人群圈選過程在 5s 內(nèi)完成，整體圈人在 2min 左右。（待提升中介紹）

• 人群分析。人群分析過程在 5min 內(nèi)完成。

待提升
功能擴(kuò)展

• 缺乏定制的人群擴(kuò)散能力。多業(yè)務(wù)場景對已有人群進(jìn)行擴(kuò)散有復(fù)雜且多樣的需求。

• 缺乏用戶人群染色，無法再多個環(huán)節(jié)完成用戶效果的回收和進(jìn)行后續(xù)的分析。
  
  

性能提升

1）當(dāng)前 Palo 的行列轉(zhuǎn)換功能在建設(shè)中。在用戶畫像業(yè)務(wù)中，將用戶 id 更換為設(shè)備 id，人群縮減（將具體人群包縮減為一個比較小的人群包用于后續(xù)運(yùn)營動作）過程是通過業(yè)務(wù)代碼實(shí)現(xiàn)的，降低了性能。

后續(xù)結(jié)果由行列轉(zhuǎn)換后，用戶畫像結(jié)果處理流程中會將設(shè)備 id 獲取方式通過 join 維度表來實(shí)現(xiàn)，人群縮減通過 order by rand limit 來實(shí)現(xiàn)，會有比較明顯的性能提升。

2）當(dāng)前 Palo 的讀取 bitmap 功能在建設(shè)中。業(yè)務(wù)代碼無法讀取到 bitmap，只能先通過 bitmap_to_string 方法讀取到轉(zhuǎn)換為文本的 bitmap，加大了傳輸量，降低了圈選性能。

后續(xù)可以直接讀取 bitmap 后，業(yè)務(wù)邏輯中會替換為直接獲取 bitmap，會極大程度的減少數(shù)據(jù)傳輸量，同時業(yè)務(wù)邏輯可以針對性緩存。

3）針對人群預(yù)估邏輯，當(dāng)前是通過例如 bitmap_count(bitmap_and) 兩個函數(shù)完成的，后續(xù) Palo 會提供 bitmap_and_count 合并為一個函數(shù)，替換后可提升計(jì)算效率。

3.4 工具層建設(shè)經(jīng)驗(yàn)分享

3.4.1 數(shù)據(jù)集成

• 全量：原始數(shù)據(jù)庫 TiDB -> 中間部分（DataX）-> Palo

• 增量：原始數(shù)據(jù)庫 TiDB -> TiCDC -> Canal Binlog Kafka -> ETL（填充數(shù)據(jù)）-> Kafka -> Routine Load -> Palo

上線后

1、僅需要 10min 的配置，數(shù)據(jù)集成包含模型，數(shù)據(jù)導(dǎo)入及中間 ETL 的轉(zhuǎn)化和額外數(shù)據(jù)補(bǔ)充以及 Routine Load 全部建好。業(yè)務(wù)層無需感知數(shù)據(jù)中間鏈路，僅需要描述我期望那個表被同步。
2、上線后無需業(yè)務(wù)關(guān)心，完成第一步配置后，后續(xù)的監(jiān)控和報(bào)警以及一致性，集成全面解決。

3.4.2 數(shù)據(jù)調(diào)度

????????????????????????????????????????????????

3.4.3 數(shù)據(jù)質(zhì)量

4.1 收益總結(jié)

4.1.1 業(yè)務(wù)發(fā)展方面

• 提供了基于時效性的熱點(diǎn)、潛力的把控。加速業(yè)務(wù)在生產(chǎn)、消費(fèi)方面的使用，進(jìn)而提升優(yōu)質(zhì)創(chuàng)作量及用戶對內(nèi)容消費(fèi)能力。

• 同時提供了提供實(shí)時的復(fù)雜計(jì)算的外顯指標(biāo)，加強(qiáng)用戶體驗(yàn)，下線了業(yè)務(wù)后端通過腳本計(jì)算指標(biāo)的方法，降低了業(yè)務(wù)的復(fù)雜性，節(jié)約了成本，提升人效。
  

• 完善和升級用戶篩選，做到多維、多類型的定向篩選，并接入了運(yùn)營平臺、營銷平臺等系統(tǒng)，提高了業(yè)務(wù)效率，降低了業(yè)務(wù)人員進(jìn)行人群定向的成本。

• 搭建和完善用戶分析，做到多角度用戶分析，定向用戶分析報(bào)告 0 成本，助力業(yè)務(wù)部門快速把握核心客戶市場。
  

4.1.2 工具建設(shè)方面

4.1.3 人員組織方面

4.2 未來展望

• 強(qiáng)化基礎(chǔ)能力工具層的建設(shè)，持續(xù)降低基于實(shí)時數(shù)據(jù)方面的建設(shè)、交付成本。

• 提升數(shù)據(jù)質(zhì)量工具覆蓋能力，為業(yè)務(wù)模型提供質(zhì)量保障，并提供基于實(shí)時數(shù)據(jù)的畫像質(zhì)量保障能力。

• 基于當(dāng)前業(yè)務(wù)訴求，部分場景針對 5 分鐘級實(shí)時無法滿足，進(jìn)一步探索秒級別復(fù)雜情況實(shí)時能力，并提供能力支持。

2、基于用戶畫像

• 加強(qiáng)并針對用戶畫像、用戶理解、用戶洞察 & 模型等進(jìn)一步建設(shè)。通過與具體業(yè)務(wù)結(jié)合，建設(shè)貼合業(yè)務(wù)場景的用戶理解成果和相應(yīng)的分析能力，找到業(yè)務(wù)的留存點(diǎn)。

• 進(jìn)一步加強(qiáng)新的工具能力的建設(shè)，通過建設(shè)用戶理解工具、用戶分析工具，降低產(chǎn)生理解及對業(yè)務(wù)分析的成本，提升業(yè)務(wù)效率，快速發(fā)現(xiàn)業(yè)務(wù)價(jià)值。

原文鏈接：

https://zhuanlan.zhihu.com/p/444879814?hmsr=joyk.com&utm_source=joyk.com&utm_medium=referral

長按或掃描下方二維碼，后臺回復(fù)：加群，即可申請入群。一定要備注：來源+研究方向+學(xué)校/公司，否則不拉入群中，見諒！
（長按三秒，進(jìn)入后臺）

推薦閱讀
利用Python做一個漂亮小姐姐詞云跳舞視頻
30 個Python代碼實(shí)現(xiàn)的常用功能，精心整理版
神器！三行 Python 代碼輕松提取 PDF 表格數(shù)據(jù)
四款可視化工具，解決99%的可視化大屏需求