?數(shù)據(jù)建模實踐

數(shù)據(jù)建模實踐

|0x00 為什么要數(shù)據(jù)建模

為什么要數(shù)據(jù)建模？

這是一個互聯(lián)網(wǎng)的時代，也是大數(shù)據(jù)的時代，數(shù)據(jù)的價值不言而喻。雖然大家都知道數(shù)據(jù)很重要，但如果數(shù)據(jù)不能得到很好應(yīng)用，那么數(shù)據(jù)就沒有價值，數(shù)據(jù)建模就是為了能夠?qū)?shù)據(jù)的價值更好的挖掘出來，所進行的一系列工作。

數(shù)據(jù)建模本身是一種組織、分析、存儲、應(yīng)用數(shù)據(jù)的方法論，盡然是一種方法論，那么就有衡量好壞的標(biāo)準(zhǔn)：性能、成本、效率、質(zhì)量。因此，數(shù)據(jù)建模的工作，就是圍繞這四個指標(biāo)做出最優(yōu)解而進行的努力。

數(shù)據(jù)建模是數(shù)據(jù)研發(fā)崗位的核心內(nèi)容，是數(shù)據(jù)采集 - 數(shù)據(jù)建模 - 數(shù)據(jù)開發(fā) - BI應(yīng)用這個研發(fā)鏈條上的關(guān)鍵步驟。

數(shù)據(jù)建模的日常工作，就是通過宏觀模型 + 分層模型，做好標(biāo)準(zhǔn)化的模型建設(shè)，并依賴報表、接口等產(chǎn)品服務(wù)，輸出數(shù)據(jù)價值。

因此，掌握核心的數(shù)據(jù)建模理論，就是數(shù)據(jù)研發(fā)工程師的核心競爭力。

好在，數(shù)據(jù)建模的理論并不難理解，很容易學(xué)會。但困難的是，想要把這套理論應(yīng)用的的新應(yīng)用，需要非常多的訓(xùn)練才能掌握。尤其對于互聯(lián)網(wǎng)行業(yè)來講，數(shù)據(jù)量足夠大、業(yè)務(wù)足夠復(fù)雜，才能練出足夠好的數(shù)據(jù)建模師來。

|0x01 數(shù)據(jù)建模理論

讓我們先來看看基礎(chǔ)的數(shù)據(jù)建模理論。

由于在變化快速的商業(yè)世界里，業(yè)務(wù)形態(tài)多種多樣，為了能夠更有針對性的進行數(shù)據(jù)建模，經(jīng)過長時間的摸索，業(yè)界逐步形成了數(shù)據(jù)建模的四部曲：業(yè)務(wù)建模->領(lǐng)域建模->邏輯建模->物理建模。簡單講，就是明確具體業(yè)務(wù)，抽象實體和關(guān)系，結(jié)合具體的建模方法，確定所有關(guān)鍵成分和屬性，最后建數(shù)據(jù)表進行數(shù)據(jù)的存儲和計算。

目前數(shù)據(jù)建模的方法論有兩大陣營，一個是基于關(guān)系型數(shù)據(jù)庫理論設(shè)計出來的，比如基于3NF的范式建模。雖然目前也有不少非關(guān)系型數(shù)據(jù)庫以及不少半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。但將半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，然后再利用關(guān)系型數(shù)據(jù)庫處理仍然是一種通用的主流數(shù)據(jù)處理方案。另一個是基于數(shù)據(jù)倉庫之父Bill Inmon提出的維度建模理論，是從全企業(yè)的高度利用實體關(guān)系來對企業(yè)業(yè)務(wù)進行描述。

先講講范式建模，包括E-R模型、DATA Vault模型和Anchor模型。

E-R模型是典型的范式數(shù)倉建模，滿足3NF，通過實體關(guān)系來描述企業(yè)業(yè)務(wù)之間的關(guān)系，通常是面向整體的，而不是面向單個業(yè)務(wù)過程來進行建立。作為一種標(biāo)準(zhǔn)的數(shù)據(jù)建模方案，E-R模型的數(shù)據(jù)一致性和擴展性都比較好，且經(jīng)得起時間的考驗，但在大數(shù)據(jù)多分析型場景訴求下，查詢性能和便捷度都存在一定的不足，因此在實際業(yè)務(wù)中，往往只應(yīng)用在DWD層。

DATA Vault模型是ER模型的衍生版本，將實體的描述部分拆分開來，當(dāng)作單獨的一個部分存在。DATA Vault模型不能直接面向業(yè)務(wù)進行數(shù)據(jù)分析決策，需要關(guān)聯(lián)處理之后才能進行相應(yīng)數(shù)據(jù)指標(biāo)的統(tǒng)計，它的擴展性更好，但同時性能和便捷度更差。

Anchor模型是對DATA Vault更進一步的范式化處理，擴展性更好，但可分析性能更差。

再講講維度建模。

維度模型主要圍繞一個確定的業(yè)務(wù)過程展開，先確定好粒度和維度屬性，再計算具體的指標(biāo)。維度模型的典型結(jié)構(gòu)是星型模型，也可能演變?yōu)?span style="color: rgb(217, 33, 66);">雪花模型。經(jīng)過互聯(lián)網(wǎng)行業(yè)多年的探索，證實設(shè)計出好的維度模型比E-R模型更簡單快速，但是缺點也比較明顯，由于冗余太多維度屬性，數(shù)據(jù)一致性和擴展型都相對較差，對過快業(yè)務(wù)變化的場景并不友好。由于維度建模更適合大數(shù)據(jù)面向OLAP場景下的數(shù)據(jù)建模方案，因此在實際業(yè)務(wù)中，通常應(yīng)用在中間層DWS或ADS上層的數(shù)據(jù)集市。

以上內(nèi)容，網(wǎng)上有大量的書籍和文章詳細(xì)介紹，這里推薦閱讀兩本就足夠了，一本是Kimball的原書《數(shù)據(jù)倉庫生命周期工具箱》、一本是《阿里巴巴大數(shù)據(jù)實踐之路》。

|0x02 數(shù)據(jù)建模中的宏觀模型

講完了基礎(chǔ)的數(shù)據(jù)建模理論，再來看看日常工作，先講一下宏觀模型。

數(shù)據(jù)倉庫的定義是什么？是一個面向“主題”的、集成的、相對穩(wěn)定的、反映歷史變化的“數(shù)據(jù)集合”，用于支持管理決策。數(shù)據(jù)倉庫的指導(dǎo)思想是：以“維度建?！睘榛A(chǔ)構(gòu)建總線矩陣，按照“數(shù)據(jù)域”和“業(yè)務(wù)過程”進行“主題模型”設(shè)計，構(gòu)建一致性的維度和事實。

主題模型是指數(shù)倉使用用戶所重點關(guān)心大腦內(nèi)容，是一個商業(yè)領(lǐng)域所涉及的所有分析對象，如“銷售分析”、“用戶分析”，通常橫跨多個業(yè)務(wù)系統(tǒng)或者數(shù)據(jù)系統(tǒng)。主題域下面可以有多個主題，主題還可以劃分成更多的子主題。

把一個數(shù)據(jù)倉庫做了橫向的切分，或者說把企業(yè)的多個業(yè)務(wù)橫向切分成不同的主題模型，又可繼續(xù)細(xì)分為不同的子域，因此形成了一個具有公共前綴的樹形結(jié)構(gòu)，這個公共前綴通過命名規(guī)范體現(xiàn)出來，這也是為什么我們要強調(diào)表的命名規(guī)范的原因。

如下圖所示，基礎(chǔ)DB或者是Log日志，通過不同的主題進行聚集，最后輸出到同一個主題域中。

從宏觀的頂層設(shè)計來看，我們的數(shù)據(jù)模型應(yīng)該是面向主題設(shè)計的，由于業(yè)務(wù)體系龐大，為了能夠更加清晰的區(qū)分?jǐn)?shù)據(jù)表的職責(zé)，我們將主題模型設(shè)計將細(xì)分為數(shù)據(jù)域和業(yè)務(wù)過程。

數(shù)據(jù)域：將業(yè)務(wù)過程或維度進行抽象，即“業(yè)務(wù)過程”或“維度”的集合，數(shù)據(jù)域還可劃分多級子域。數(shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過程進行抽象的集合。數(shù)據(jù)域需要抽象提煉，并且長期維護和更新，但不輕易變動。數(shù)據(jù)域的劃分對于維度建模理論在層次數(shù)倉建模落地上有重要意義，一般根據(jù)業(yè)務(wù)過程相似性將同類業(yè)務(wù)數(shù)據(jù)劃分到一個數(shù)據(jù)域中，底層數(shù)據(jù)的加工都會聚焦在同一個數(shù)據(jù)域中進行，在上層應(yīng)用時才會加工跨數(shù)據(jù)域的數(shù)據(jù)模型。

業(yè)務(wù)過程：指企業(yè)活動中一個不可拆分的的行為事件，如下單、支付、退款等行為事件。

因此，我們可以簡單的認(rèn)為，主題模型 = 數(shù)據(jù)域 + 業(yè)務(wù)過程。

我們通常所做的模型設(shè)計，宏觀層面上，就是合理的劃分?jǐn)?shù)據(jù)域和業(yè)務(wù)過程，而這種劃分的結(jié)果是以表名的形式體現(xiàn)出來的，因此合理的數(shù)倉結(jié)構(gòu)中，通過表名便應(yīng)該能夠清晰的分辨出這張表所屬的數(shù)據(jù)域和業(yè)務(wù)過程，這與工程上所強調(diào)的“代碼整潔之道”有異曲同工之妙。

|0x03 數(shù)據(jù)建模中的分層設(shè)計

劃分清楚了大的概念，接下來講實際開發(fā)，最重要的是分層設(shè)計，這也是維度建模的靈魂，也是互聯(lián)網(wǎng)公司經(jīng)過過年的探索，得出的最佳實踐。

在介紹分層之前，講幾個基本的概念。

接下來講分層的內(nèi)容。

數(shù)據(jù)分層 = ODS + CDM（DIM + DWD + DWS）+ ADS，當(dāng)業(yè)務(wù)不復(fù)雜時，也可以忽略某些層，比如DB設(shè)計的足夠優(yōu)秀且業(yè)務(wù)比較簡單，ODS就可以不用建設(shè)。

ODS面向ETL過程設(shè)計，通常不改變數(shù)據(jù)的內(nèi)容，重點考慮數(shù)據(jù)如何及時可靠的同步過來。

ODS作為原始數(shù)據(jù)存儲層，建議保留全部的數(shù)據(jù)原始記錄，留底而不做任何清洗操作。ODS層對接的系統(tǒng)側(cè)數(shù)據(jù)一般為明細(xì)數(shù)據(jù)，如果不是實時數(shù)據(jù)，調(diào)度周期一般為日調(diào)度或小時調(diào)度。對于數(shù)據(jù)的同步方式，ODS只記錄會發(fā)生更新變更的數(shù)據(jù)，例如累計快照事實表、多事務(wù)事實表，建議采用時間上的全量同步；不會發(fā)生更改刪除的數(shù)據(jù)，例如事務(wù)事實表，建議采用時間增量同步。ODS表的保留周期，一般為全量7天、增量永久。

CDM = Common Data Model，該層不面向產(chǎn)品需求開發(fā)，而是針對業(yè)務(wù)過程的抽象和定義，是數(shù)據(jù)模型的核心層，一般需要非常嚴(yán)格的規(guī)范管理，每次修改理論上都需要進行CodeReview。

DIM作為維表的概念，依據(jù)維度建模理論，數(shù)據(jù)只來自于ODS層，可以做一定加工處理操作。DIM表的調(diào)度周期一般為日調(diào)度，同步DB全量的快照數(shù)據(jù)，通常不建議采用增量進行同步。由于是快照表，因此建議永久保留，如果是拉鏈表則建議保留7天。DIM表有一些額外的考慮因素，即是否緩慢變化維度（選擇快照還是拉鏈需要根據(jù)變化頻次和業(yè)務(wù)場景來確定），如果維度存在層次關(guān)系，可以通過_ext或者是_tree或者是_graph的后綴進行標(biāo)注。

DWD作為數(shù)據(jù)倉庫明細(xì)層，建設(shè)思路主要圍繞事務(wù)事實表、多事務(wù)事實表、累計快照事實表等的明細(xì)類表進行建設(shè)，對于多個事務(wù)事實表可以進行合并為多事務(wù)事實表，在各個業(yè)務(wù)域中結(jié)合業(yè)務(wù)過程選擇一個應(yīng)用較為通用的粒度建立一張明細(xì)寬表，同時還需要進行原始數(shù)據(jù)的清洗工作。DWD表的調(diào)度周期一般為日調(diào)度，時間上建議全量快照保留，少部分采用增量（主要考慮數(shù)據(jù)是否發(fā)生修改或刪除，若存在則需要使用全量）。保留周期同樣為全量7天、增量永久。如果有清洗數(shù)據(jù)的需求，通常做在DWD層，而退化部分維度屬性，雜項維度、行為維度、微型維度等直接退化在事實表中，對于明細(xì)寬表會考慮冗余部分常用屬性提升查詢效率。

DWS作為數(shù)據(jù)倉庫服務(wù)層，考慮建設(shè)完善的數(shù)據(jù)服務(wù)體系與數(shù)據(jù)集市，統(tǒng)一指標(biāo)口徑，主要存放周期快照事實表、聚集型事實表等匯總類型指標(biāo)數(shù)據(jù)表，并且根據(jù)是否跨數(shù)據(jù)域分為兩個部分進行建設(shè)。統(tǒng)計周期上，DWS與DWD和ODS不同，統(tǒng)計周期通常為：1d（最近一天）、nd（最近n天）、cm（自然月）等方式，因此需要設(shè)定通用的規(guī)范，與ODS/DWD進行區(qū)分。DWS層不存在時間上的全量，只能根據(jù)匯總的維度進行周期統(tǒng)計。DWS分為跨數(shù)據(jù)域和不跨數(shù)據(jù)域兩類匯總表，在同一個業(yè)務(wù)過程中進行指標(biāo)匯總計算可以確保數(shù)據(jù)維度的統(tǒng)一且高效產(chǎn)出，但由于DWS沉淀不足，對上游應(yīng)用使用不友好，如果都放在ADS進行跨業(yè)務(wù)過程融合會過于臃腫，因此考慮在DWS進行同一業(yè)務(wù)過程內(nèi)匯總的同時，也沉淀一部分通用的跨業(yè)務(wù)過程匯總表。

ADS是面向應(yīng)用、服務(wù)、需求而開發(fā)，命名規(guī)范不會限定的很嚴(yán)格，因為存在很多手工數(shù)據(jù)這種無法標(biāo)準(zhǔn)化的情況，但ADS需要嚴(yán)格的限定依賴深度，防止設(shè)計的太復(fù)雜導(dǎo)致維護成本很高。

ADS作為應(yīng)用數(shù)據(jù)存儲層，建設(shè)思路是根據(jù)業(yè)務(wù)具體訴求，提供數(shù)據(jù)服務(wù)，公共通用指標(biāo)盡量從DWS層獲取，明細(xì)數(shù)據(jù)透出或其他業(yè)務(wù)可以從DWD層獲取，不建議直接從ODS層獲取數(shù)據(jù)。ADS盡量展示完整的原子指標(biāo)（例如：有今年花費和去年花費兩個指標(biāo)，應(yīng)用性能滿足的情況下，同比指標(biāo)可不提供）。

|0x04 數(shù)據(jù)建模的標(biāo)準(zhǔn)化

標(biāo)準(zhǔn)化是數(shù)據(jù)建模非常重要的一步，有道是：“如果數(shù)據(jù)都是錯誤的，那么業(yè)務(wù)如何做出正確的決策呢？”由于數(shù)據(jù)離不開人的開發(fā)，而人通常都是會犯錯誤的，因此如果標(biāo)準(zhǔn)化做的不好，不光做出來的數(shù)據(jù)容易出錯，而且很容易背鍋。

那么數(shù)據(jù)建模如何標(biāo)準(zhǔn)化？如果有五點：

第一點，數(shù)據(jù)表的命名是標(biāo)準(zhǔn)的。比如：分層_數(shù)據(jù)域_二級數(shù)據(jù)域_業(yè)務(wù)過程_業(yè)務(wù)描述_主鍵_統(tǒng)計周期_刷新周期，通常沒有絕對的標(biāo)準(zhǔn)，只有相對的標(biāo)準(zhǔn)。如果數(shù)據(jù)表的命名規(guī)范做的好，不用看注釋，其他人都能直接用。

第二點，表指標(biāo)定義是標(biāo)準(zhǔn)的，無二義性的。表的字段通常包含三個部分：實體&屬性、派生指標(biāo)、時間定義，實體代表DWS和ADS的統(tǒng)計粒度，其屬性是從我們的維表中關(guān)聯(lián)出來的；派生指標(biāo)，是基于原子指標(biāo)、業(yè)務(wù)限定等組合出來的；時間定義，通常是天、小時、分鐘等。數(shù)倉標(biāo)準(zhǔn)化的程度，很大一部分就是看派生指標(biāo)是否規(guī)范、是否統(tǒng)一，很多公司做的“指標(biāo)庫”，本質(zhì)就是做表指標(biāo)定義的標(biāo)準(zhǔn)化。

第三點，模型中語料是不斷完善的。前面兩點中，表和字段都會拆解成最小粒度了，數(shù)倉模型針對每個最小粒度都進行了定義，后續(xù)的工作中，表命名、字段命名、字段口徑都應(yīng)該從這些模型中能夠取出來。

第四點，數(shù)據(jù)質(zhì)量是有保障的。參考筆者之前的三篇文章：《系統(tǒng)思考數(shù)據(jù)質(zhì)量》，《淺談數(shù)據(jù)測試》，《深入探討數(shù)據(jù)測試》。

第五點，通過數(shù)據(jù)來保障模型的規(guī)范性。還是那句話，人都是會犯錯誤的，那么用數(shù)據(jù)來治理數(shù)據(jù)，并做成工具天天提醒你，是目前大公司比較統(tǒng)一的思路。參考筆者之前的文章：《數(shù)據(jù)資產(chǎn)治理概要：用數(shù)據(jù)來治理數(shù)據(jù)》。

|0xFF 數(shù)據(jù)建模中的應(yīng)用價值

我們構(gòu)建的數(shù)據(jù)模型實際上是一種信息流，從明細(xì) -> 輕度匯總 -> 高度匯總的鏈路，細(xì)節(jié)逐漸消失，攜帶的信息量逐漸減少。在明細(xì)我們可以看到業(yè)務(wù)細(xì)節(jié)，在匯總我們只能看到一些結(jié)論性的數(shù)據(jù)，那么底層的模型設(shè)計對外其實是不可見的，那么我們通過高度匯總的數(shù)據(jù)怎么透傳數(shù)據(jù)價值呢？

其中一種方式，是做數(shù)據(jù)中臺，提供數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)和其他一些數(shù)據(jù)基礎(chǔ)設(shè)施，即豐富數(shù)據(jù)的應(yīng)用場景可以帶來較大的增量價值。

另外一種方式，是做基于數(shù)據(jù)的業(yè)務(wù)中臺，提供一些對業(yè)務(wù)場景的洞察。單獨的數(shù)據(jù)模型其實很難產(chǎn)生價值，通常需要配合其他的一些業(yè)務(wù)場景，來產(chǎn)生增量的價值。