本文分為兩大節(jié)介紹，第一節(jié)是數(shù)倉(cāng)建設(shè)，第二節(jié)是數(shù)據(jù)治理，內(nèi)容較長(zhǎng)，還請(qǐng)耐心閱讀！

在談數(shù)倉(cāng)之前，先來(lái)看下面幾個(gè)問(wèn)題：

數(shù)倉(cāng)為什么要分層？

1. 用空間換時(shí)間，通過(guò)大量的預(yù)處理來(lái)提升應(yīng)用系統(tǒng)的用戶(hù)體驗(yàn)（效率），因此數(shù)據(jù)倉(cāng)庫(kù)會(huì)存在大量冗余的數(shù)據(jù)；不分層的話(huà)，如果源業(yè)務(wù)系統(tǒng)的業(yè)務(wù)規(guī)則發(fā)生變化將會(huì)影響整個(gè)數(shù)據(jù)清洗過(guò)程，工作量巨大。

2. 通過(guò)數(shù)據(jù)分層管理可以簡(jiǎn)化數(shù)據(jù)清洗的過(guò)程，因?yàn)榘言瓉?lái)一步的工作分到了多個(gè)步驟去完成，相當(dāng)于把一個(gè)復(fù)雜的工作拆成了多個(gè)簡(jiǎn)單的工作，把一個(gè)大的黑盒變成了一個(gè)白盒，每一層的處理邏輯都相對(duì)簡(jiǎn)單和容易理解，這樣我們比較容易保證每一個(gè)步驟的正確性，當(dāng)數(shù)據(jù)發(fā)生錯(cuò)誤的時(shí)候，往往我們只需要局部調(diào)整某個(gè)步驟即可。

數(shù)據(jù)倉(cāng)庫(kù)之父 Bill Inmon對(duì)數(shù)據(jù)倉(cāng)庫(kù)做了定義——面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。從定義上來(lái)看，數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵詞為面向主題、集成、穩(wěn)定、反映歷史變化、支持管理決策，而這些關(guān)鍵詞的實(shí)現(xiàn)就體現(xiàn)在分層架構(gòu)內(nèi)。

一個(gè)好的分層架構(gòu)，有以下好處：

1. 清晰數(shù)據(jù)結(jié)構(gòu)：每一個(gè)數(shù)據(jù)分層都有對(duì)應(yīng)的作用域，在使用數(shù)據(jù)的時(shí)候能更方便的定位和理解。

2. 數(shù)據(jù)血緣追蹤：提供給業(yè)務(wù)人員或下游系統(tǒng)的數(shù)據(jù)服務(wù)時(shí)都是目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)的數(shù)據(jù)來(lái)源一般都來(lái)自于多張表數(shù)據(jù)。若出現(xiàn)目標(biāo)數(shù)據(jù)異常時(shí)，清晰的血緣關(guān)系可以快速定位問(wèn)題所在。而且，血緣管理也是元數(shù)據(jù)管理重要的一部分。

3. 減少重復(fù)開(kāi)發(fā)：數(shù)據(jù)的逐層加工原則，下層包含了上層數(shù)據(jù)加工所需要的全量數(shù)據(jù)，這樣的加工方式避免了每個(gè)數(shù)據(jù)開(kāi)發(fā)人員都重新從源系統(tǒng)抽取數(shù)據(jù)進(jìn)行加工。

4. 數(shù)據(jù)關(guān)系條理化：源系統(tǒng)間存在復(fù)雜的數(shù)據(jù)關(guān)系，比如客戶(hù)信息同時(shí)存在于核心系統(tǒng)、信貸系統(tǒng)、理財(cái)系統(tǒng)、資金系統(tǒng)，取數(shù)時(shí)該如何決策呢？數(shù)據(jù)倉(cāng)庫(kù)會(huì)對(duì)相同主題的數(shù)據(jù)進(jìn)行統(tǒng)一建模，把復(fù)雜的數(shù)據(jù)關(guān)系梳理成條理清晰的數(shù)據(jù)模型，使用時(shí)就可避免上述問(wèn)題了。

5. 屏蔽原始數(shù)據(jù)的影響：數(shù)據(jù)的逐層加工原則，上層的數(shù)據(jù)都由下一層的數(shù)據(jù)加工獲取，不允許跳級(jí)取數(shù)。而原始數(shù)據(jù)位于數(shù)倉(cāng)的最底層，離應(yīng)用層數(shù)據(jù)還有多層的數(shù)據(jù)加工，所以加工應(yīng)用層數(shù)據(jù)的過(guò)程中就會(huì)把原始數(shù)據(jù)的變更消除掉，保持應(yīng)用層的穩(wěn)定性。

數(shù)倉(cāng)分幾層最好？

目前市場(chǎng)上主流的分層方式眼花繚亂，不過(guò)看事情不能只看表面，還要看到內(nèi)在的規(guī)律，不能為了分層而分層，沒(méi)有最好的，只有適合的。

分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的，為未來(lái)抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線(xiàn)，同時(shí)為業(yè)務(wù)發(fā)展提供穩(wěn)定、準(zhǔn)確的數(shù)據(jù)支撐，并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向，也就是數(shù)據(jù)驅(qū)動(dòng)和賦能。

如何搭建一個(gè)好的數(shù)倉(cāng)？

1. 穩(wěn)定：數(shù)據(jù)產(chǎn)出穩(wěn)定且有保障。

2. 可信：數(shù)據(jù)干凈、數(shù)據(jù)質(zhì)量高。

3. 豐富：數(shù)據(jù)涵蓋的業(yè)務(wù)足夠廣泛。

4. 透明：數(shù)據(jù)構(gòu)成體系足夠透明。

數(shù)倉(cāng)設(shè)計(jì)

數(shù)倉(cāng)設(shè)計(jì)的3個(gè)維度：

• 功能架構(gòu)：結(jié)構(gòu)層次清晰。

• 數(shù)據(jù)架構(gòu)：數(shù)據(jù)質(zhì)量有保障。

• 技術(shù)架構(gòu)：易擴(kuò)展、易用。

數(shù)倉(cāng)架構(gòu)

按照數(shù)據(jù)流入流出的過(guò)程，數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)可分為：源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)應(yīng)用。

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源于不同的源數(shù)據(jù)，并提供多樣的數(shù)據(jù)應(yīng)用，數(shù)據(jù)自下而上流入數(shù)據(jù)倉(cāng)庫(kù)后向上層開(kāi)放應(yīng)用，而數(shù)據(jù)倉(cāng)庫(kù)只是中間集成化數(shù)據(jù)管理的一個(gè)平臺(tái)。

源數(shù)據(jù)：此層數(shù)據(jù)無(wú)任何更改，直接沿用外圍系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)，不對(duì)外開(kāi)放；為臨時(shí)存儲(chǔ)層，是接口數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域，為后一步的數(shù)據(jù)處理做準(zhǔn)備。

數(shù)據(jù)倉(cāng)庫(kù)：也稱(chēng)為細(xì)節(jié)層，DW層的數(shù)據(jù)應(yīng)該是一致的、準(zhǔn)確的、干凈的數(shù)據(jù)，即對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行了清洗（去除了雜質(zhì)）后的數(shù)據(jù)。

數(shù)據(jù)應(yīng)用：前端應(yīng)用直接讀取的數(shù)據(jù)源；根據(jù)報(bào)表、專(zhuān)題分析需求而計(jì)算生成的數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)從各數(shù)據(jù)源獲取數(shù)據(jù)及在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)轉(zhuǎn)換和流動(dòng)都可以認(rèn)為是ETL（抽取Extra, 轉(zhuǎn)化Transfer, 裝載Load）的過(guò)程，ETL是數(shù)據(jù)倉(cāng)庫(kù)的流水線(xiàn)，也可以認(rèn)為是數(shù)據(jù)倉(cāng)庫(kù)的血液，它維系著數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的新陳代謝，而數(shù)據(jù)倉(cāng)庫(kù)日常的管理和維護(hù)工作的大部分精力就是保持ETL的正常和穩(wěn)定。

建設(shè)數(shù)據(jù)倉(cāng)庫(kù)猶如創(chuàng)造一條新的生命，分層架構(gòu)只是這條生命的邏輯骨架而已。想要在骨架上長(zhǎng)出血肉，就必須進(jìn)行合適的數(shù)據(jù)建模，數(shù)據(jù)倉(cāng)庫(kù)的強(qiáng)壯還是孱弱，健美還是丑陋，就取決于建模的結(jié)果。

數(shù)倉(cāng)建模方法

數(shù)據(jù)倉(cāng)庫(kù)的建模方法有很多種，每一種建模方法代表了哲學(xué)上的一個(gè)觀點(diǎn)，代表了一種歸納、概括世界的一種方法。常見(jiàn)的有 范式建模法、維度建模法、實(shí)體建模法等，每種方法從本質(zhì)上將是從不同的角度看待業(yè)務(wù)中的問(wèn)題。

1. 范式建模法

范式建模法其實(shí)是我們?cè)跇?gòu)建數(shù)據(jù)模型常用的一個(gè)方法，該方法的主要由 Inmon 所提倡，主要解決關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)，利用的一種技術(shù)層面上的方法。目前，我們?cè)陉P(guān)系型數(shù)據(jù)庫(kù)中的建模方法，大部分采用的是三范式建模法。

范式 是符合某一種級(jí)別的關(guān)系模式的集合。構(gòu)造數(shù)據(jù)庫(kù)必須遵循一定的規(guī)則，而在關(guān)系型數(shù)據(jù)庫(kù)中這種規(guī)則就是范式，這一過(guò)程也被稱(chēng)為規(guī)范化。目前關(guān)系數(shù)據(jù)庫(kù)有六種范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、Boyce-Codd范式（BCNF）、第四范式（4NF）和第五范式（5NF）。

在數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)中，一般采用第三范式。一個(gè)符合第三范式的關(guān)系必須具有以下三個(gè)條件 :

• 每個(gè)屬性值唯一，不具有多義性 ;

• 每個(gè)非主屬性必須完全依賴(lài)于整個(gè)主鍵，而非主鍵的一部分 ;

• 每個(gè)非主屬性不能依賴(lài)于其他關(guān)系中的屬性，因?yàn)檫@樣的話(huà)，這種屬性應(yīng)該歸到其他關(guān)系中去。

根據(jù) Inmon 的觀點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)模型的建設(shè)方法和業(yè)務(wù)系統(tǒng)的企業(yè)數(shù)據(jù)模型類(lèi)似。在業(yè)務(wù)系統(tǒng)中，企業(yè)數(shù)據(jù)模型決定了數(shù)據(jù)的來(lái)源，而企業(yè)數(shù)據(jù)模型也分為兩個(gè)層次，即主題域模型和邏輯模型。同樣，主題域模型可以看成是業(yè)務(wù)模型的概念模型，而邏輯模型則是域模型在關(guān)系型數(shù)據(jù)庫(kù)上的實(shí)例化。

2. 實(shí)體建模法

實(shí)體建模法并不是數(shù)據(jù)倉(cāng)庫(kù)建模中常見(jiàn)的一個(gè)方法，它來(lái)源于哲學(xué)的一個(gè)流派。從哲學(xué)的意義上說(shuō)，客觀世界應(yīng)該是可以細(xì)分的，客觀世界應(yīng)該可以分成由一個(gè)個(gè)實(shí)體，以及實(shí)體與實(shí)體之間的關(guān)系組成。那么我們?cè)跀?shù)據(jù)倉(cāng)庫(kù)的建模過(guò)程中完全可以引入這個(gè)抽象的方法，將整個(gè)業(yè)務(wù)也可以劃分成一個(gè)個(gè)的實(shí)體，而每個(gè)實(shí)體之間的關(guān)系，以及針對(duì)這些關(guān)系的說(shuō)明就是我們數(shù)據(jù)建模需要做的工作。

雖然實(shí)體法粗看起來(lái)好像有一些抽象，其實(shí)理解起來(lái)很容易。即我們可以將任何一個(gè)業(yè)務(wù)過(guò)程劃分成 3 個(gè)部分，實(shí)體，事件，說(shuō)明，如下圖所示：

上圖表述的是一個(gè)抽象的含義，如果我們描述一個(gè)簡(jiǎn)單的事實(shí)：“小明開(kāi)車(chē)去學(xué)校上學(xué)”。以這個(gè)業(yè)務(wù)事實(shí)為例，我們可以把“小明”，“學(xué)校”看成是一個(gè)實(shí)體，“上學(xué)”描述的是一個(gè)業(yè)務(wù)過(guò)程，我們?cè)谶@里可以抽象為一個(gè)具體“事件”，而“開(kāi)車(chē)去”則可以看成是事件“上學(xué)”的一個(gè)說(shuō)明。

3. 維度建模法

維度模型是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域另一位大師Ralph Kimall所倡導(dǎo)，他的《數(shù)據(jù)倉(cāng)庫(kù)工具箱》是數(shù)據(jù)倉(cāng)庫(kù)工程領(lǐng)域最流行的數(shù)倉(cāng)建模經(jīng)典。維度建模以分析決策的需求出發(fā)構(gòu)建模型，構(gòu)建的數(shù)據(jù)模型為分析需求服務(wù)，因此它重點(diǎn)解決用戶(hù)如何更快速完成分析需求，同時(shí)還有較好的大規(guī)模復(fù)雜查詢(xún)的響應(yīng)性能。

典型的代表是我們比較熟知的星形模型（Star-schema），以及在一些特殊場(chǎng)景下適用的雪花模型（Snow-schema）。

維度建模中比較重要的概念就是 事實(shí)表（Fact table）和維度表（Dimension table）。其最簡(jiǎn)單的描述就是，按照事實(shí)表、維度表來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市。

目前在互聯(lián)網(wǎng)公司最常用的建模方法就是維度建模。

維度建模怎么建：

在實(shí)際業(yè)務(wù)中，給了我們一堆數(shù)據(jù)，我們?cè)趺茨眠@些數(shù)據(jù)進(jìn)行數(shù)倉(cāng)建設(shè)呢，數(shù)倉(cāng)工具箱作者根據(jù)自身60多年的實(shí)際業(yè)務(wù)經(jīng)驗(yàn)，給我們總結(jié)了如下四步。

數(shù)倉(cāng)工具箱中的維度建模四步走：

這四步是環(huán)環(huán)相扣，步步相連。下面詳細(xì)拆解下每個(gè)步驟怎么做

1、選擇業(yè)務(wù)過(guò)程

• 維度建模是緊貼業(yè)務(wù)的，所以必須以業(yè)務(wù)為根基進(jìn)行建模，那么選擇業(yè)務(wù)過(guò)程，顧名思義就是在整個(gè)業(yè)務(wù)流程中選取我們需要建模的業(yè)務(wù)，根據(jù)運(yùn)營(yíng)提供的需求及日后的易擴(kuò)展性等進(jìn)行選擇業(yè)務(wù)。比如商城，整個(gè)商城流程分為商家端，用戶(hù)端，平臺(tái)端，運(yùn)營(yíng)需求是總訂單量，訂單人數(shù)，及用戶(hù)的購(gòu)買(mǎi)情況等，我們選擇業(yè)務(wù)過(guò)程就選擇用戶(hù)端的數(shù)據(jù)，商家及平臺(tái)端暫不考慮。業(yè)務(wù)選擇非常重要，因?yàn)楹竺嫠械牟襟E都是基于此業(yè)務(wù)數(shù)據(jù)展開(kāi)的。

2、聲明粒度

• 先舉個(gè)例子：對(duì)于用戶(hù)來(lái)說(shuō)，一個(gè)用戶(hù)有一個(gè)身份證號(hào)，一個(gè)戶(hù)籍地址，多個(gè)手機(jī)號(hào)，多張銀行卡，那么與用戶(hù)粒度相同的粒度屬性有身份證粒度，戶(hù)籍地址粒度，比用戶(hù)粒度更細(xì)的粒度有手機(jī)號(hào)粒度，銀行卡粒度，存在一對(duì)一的關(guān)系就是相同粒度。為什么要提相同粒度呢，因?yàn)榫S度建模中要求我們，在同一事實(shí)表中，必須具有相同的粒度，同一事實(shí)表中不要混用多種不同的粒度，不同的粒度數(shù)據(jù)建立不同的事實(shí)表。并且從給定的業(yè)務(wù)過(guò)程獲取數(shù)據(jù)時(shí)，強(qiáng)烈建議從關(guān)注原子粒度開(kāi)始設(shè)計(jì)，也就是從最細(xì)粒度開(kāi)始，因?yàn)樵恿６饶軌虺惺軣o(wú)法預(yù)期的用戶(hù)查詢(xún)。但是上卷匯總粒度對(duì)查詢(xún)性能的提升很重要的，所以對(duì)于有明確需求的數(shù)據(jù)，我們建立針對(duì)需求的上卷匯總粒度，對(duì)需求不明朗的數(shù)據(jù)我們建立原子粒度。

3、確認(rèn)維度

• 維度表是作為業(yè)務(wù)分析的入口和描述性標(biāo)識(shí)，所以也被稱(chēng)為數(shù)據(jù)倉(cāng)庫(kù)的“靈魂”。在一堆的數(shù)據(jù)中怎么確認(rèn)哪些是維度屬性呢，如果該列是對(duì)具體值的描述，是一個(gè)文本或常量，某一約束和行標(biāo)識(shí)的參與者，此時(shí)該屬性往往是維度屬性，數(shù)倉(cāng)工具箱中告訴我們牢牢掌握事實(shí)表的粒度，就能將所有可能存在的維度區(qū)分開(kāi)，并且要確保維度表中不能出現(xiàn)重復(fù)數(shù)據(jù)，應(yīng)使維度主鍵唯一

4、確認(rèn)事實(shí)

• 事實(shí)表是用來(lái)度量的，基本上都以數(shù)量值表示，事實(shí)表中的每行對(duì)應(yīng)一個(gè)度量，每行中的數(shù)據(jù)是一個(gè)特定級(jí)別的細(xì)節(jié)數(shù)據(jù)，稱(chēng)為粒度。維度建模的核心原則之一是同一事實(shí)表中的所有度量必須具有相同的粒度。這樣能確保不會(huì)出現(xiàn)重復(fù)計(jì)算度量的問(wèn)題。有時(shí)候往往不能確定該列數(shù)據(jù)是事實(shí)屬性還是維度屬性。記住最實(shí)用的事實(shí)就是數(shù)值類(lèi)型和可加類(lèi)事實(shí)。所以可以通過(guò)分析該列是否是一種包含多個(gè)值并作為計(jì)算的參與者的度量，這種情況下該列往往是事實(shí)。

其中粒度是非常重要的，粒度用于確定事實(shí)表的行表示什么，建議從關(guān)注原子級(jí)別的粒度數(shù)據(jù)開(kāi)始設(shè)計(jì)，因?yàn)樵恿６饶軌虺惺軣o(wú)法預(yù)估的用戶(hù)查詢(xún)，而且原子數(shù)據(jù)可以以各種可能的方式進(jìn)行上卷，而一旦選擇了高粒度，則無(wú)法滿(mǎn)足用戶(hù)下鉆細(xì)節(jié)的需求。

事實(shí)是整個(gè)維度建模的核心，其中雪花模型或者星型模型都是基于一張事實(shí)表通過(guò)外健關(guān)聯(lián)維表進(jìn)行擴(kuò)展，生成一份能夠支撐可預(yù)知查詢(xún)需求的模型寬表，而且最后的查詢(xún)也是落在事實(shí)表中進(jìn)行。

實(shí)際業(yè)務(wù)中數(shù)倉(cāng)分層

數(shù)倉(cāng)分層要結(jié)合公司業(yè)務(wù)進(jìn)行，并且需要清晰明確各層職責(zé)，要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對(duì)下游影響，一般采用如下分層結(jié)構(gòu)：

數(shù)據(jù)層具體實(shí)現(xiàn)

使用四張圖說(shuō)明每層的具體實(shí)現(xiàn)

• 數(shù)據(jù)源層ODS

數(shù)據(jù)源層主要將各個(gè)業(yè)務(wù)數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)平臺(tái)，作為業(yè)務(wù)數(shù)據(jù)的快照存儲(chǔ)。

• 數(shù)據(jù)明細(xì)層DW

事實(shí)表中的每行對(duì)應(yīng)一個(gè)度量，每行中的數(shù)據(jù)是一個(gè)特定級(jí)別的細(xì)節(jié)數(shù)據(jù)，稱(chēng)為粒度。維度建模的核心原則之一是同一事實(shí)表中的所有度量必須具有相同的粒度。這樣能確保不會(huì)出現(xiàn)重復(fù)計(jì)算度量的問(wèn)題。

維度表一般都是單一主鍵，少數(shù)是聯(lián)合主鍵，注意維度表不要出現(xiàn)重復(fù)數(shù)據(jù)，否則和事實(shí)表關(guān)聯(lián)會(huì)出現(xiàn)數(shù)據(jù)發(fā)散問(wèn)題。

有時(shí)候往往不能確定該列數(shù)據(jù)是事實(shí)屬性還是維度屬性。記住最實(shí)用的事實(shí)就是數(shù)值類(lèi)型和可加類(lèi)事實(shí)。所以可以通過(guò)分析該列是否是一種包含多個(gè)值并作為計(jì)算的參與者的度量，這種情況下該列往往是事實(shí)；如果該列是對(duì)具體值的描述，是一個(gè)文本或常量，某一約束和行標(biāo)識(shí)的參與者，此時(shí)該屬性往往是維度屬性。但是還是要結(jié)合業(yè)務(wù)進(jìn)行最終判斷是維度還是事實(shí)。

• 數(shù)據(jù)輕度匯總層DM

此層命名為輕匯總層，就代表這一層已經(jīng)開(kāi)始對(duì)數(shù)據(jù)進(jìn)行匯總，但是不是完全匯總，只是對(duì)相同粒度的數(shù)據(jù)進(jìn)行關(guān)聯(lián)匯總，不同粒度但是有關(guān)系的數(shù)據(jù)也可進(jìn)行匯總，此時(shí)需要將粒度通過(guò)聚合等操作進(jìn)行統(tǒng)一。

• 數(shù)據(jù)應(yīng)用層APP

數(shù)據(jù)應(yīng)用層的表就是提供給用戶(hù)使用的，數(shù)倉(cāng)建設(shè)到此就接近尾聲了，接下來(lái)就根據(jù)不同的需求進(jìn)行不同的取數(shù)，如直接進(jìn)行報(bào)表展示，或提供給數(shù)據(jù)分析的同事所需的數(shù)據(jù)，或其他的業(yè)務(wù)支撐。

一張圖總結(jié)下數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建整體流程：

數(shù)據(jù)治理

數(shù)倉(cāng)建設(shè)真正的難點(diǎn)不在于數(shù)倉(cāng)設(shè)計(jì)，而在于后續(xù)業(yè)務(wù)發(fā)展起來(lái)，業(yè)務(wù)線(xiàn)變的龐大之后的數(shù)據(jù)治理，包括資產(chǎn)治理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)指標(biāo)體系的建設(shè)等。

其實(shí)數(shù)據(jù)治理的范圍很?，包含數(shù)據(jù)本?的管理、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、數(shù)據(jù)成本等。在DAMA 數(shù)據(jù)管理知識(shí)體系指南中，數(shù)據(jù)治理位于數(shù)據(jù)管理“車(chē)輪圖”的正中央，是數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領(lǐng)域的總綱，為各項(xiàng)數(shù)據(jù)管理活動(dòng)提供總體指導(dǎo)策略。

數(shù)據(jù)治理之道是什么

1. 數(shù)據(jù)治理需要體系建設(shè)

為發(fā)揮數(shù)據(jù)價(jià)值需要滿(mǎn)足三個(gè)要素：合理的平臺(tái)架構(gòu)、完善的治理服務(wù)、體系化的運(yùn)營(yíng)手段。

根據(jù)企業(yè)的規(guī)模、所屬行業(yè)、數(shù)據(jù)量等情況選擇合適的平臺(tái)架構(gòu)；治理服務(wù)需要貫穿數(shù)據(jù)全生命周期，保證數(shù)據(jù)在采集、加工、共享、存儲(chǔ)、應(yīng)用整個(gè)過(guò)程中的完整性、準(zhǔn)確性、一致性和實(shí)效性；運(yùn)營(yíng)手段則應(yīng)當(dāng)包括規(guī)范的優(yōu)化、組織的優(yōu)化、平臺(tái)的優(yōu)化以及流程的優(yōu)化等等方面。

2. 數(shù)據(jù)治理需要夯實(shí)基礎(chǔ)

數(shù)據(jù)治理需要循序漸進(jìn)，但在建設(shè)初期至少需要關(guān)注三個(gè)方面：數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全。規(guī)范化的模型管理是保障數(shù)據(jù)可以被治理的前提條件，高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)可用的前提條件，數(shù)據(jù)的安全管控是數(shù)據(jù)可以共享交換的前提條件。

3. 數(shù)據(jù)治理需要IT賦能

數(shù)據(jù)治理不是一堆規(guī)范文檔的堆砌，而是需要將治理過(guò)程中所產(chǎn)生的的規(guī)范、流程、標(biāo)準(zhǔn)落地到IT平臺(tái)上，在數(shù)據(jù)生產(chǎn)過(guò)程中通過(guò)“以終為始”前向的方式進(jìn)行數(shù)據(jù)治理，避免事后稽核帶來(lái)各種被動(dòng)和運(yùn)維成本的增加。

4. 數(shù)據(jù)治理需要聚焦數(shù)據(jù)

數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù)，因此需要加強(qiáng)元數(shù)據(jù)管理和主數(shù)據(jù)管理，從源頭治理數(shù)據(jù)，補(bǔ)齊數(shù)據(jù)的相關(guān)屬性和信息，比如：元數(shù)據(jù)、質(zhì)量、安全、業(yè)務(wù)邏輯、血緣等，通過(guò)元數(shù)據(jù)驅(qū)動(dòng)的方式管理數(shù)據(jù)生產(chǎn)、加工和使用。

5. 數(shù)據(jù)治理需要建管一體化

數(shù)據(jù)模型血緣與任務(wù)調(diào)度的一致性是建管一體化的關(guān)鍵，有助于解決數(shù)據(jù)管理與數(shù)據(jù)生產(chǎn)口徑不一致的問(wèn)題，避免出現(xiàn)兩張皮的低效管理模式。

淺談數(shù)據(jù)治理方式

如上面所說(shuō)，數(shù)據(jù)治理的范圍非常廣，其中最重要的是數(shù)據(jù)質(zhì)量治理，而數(shù)據(jù)質(zhì)量涉及的范圍也很廣，貫穿數(shù)倉(cāng)的整個(gè)生命周期，從數(shù)據(jù)產(chǎn)生->數(shù)據(jù)接入->數(shù)據(jù)存儲(chǔ)->數(shù)據(jù)處理->數(shù)據(jù)輸出->數(shù)據(jù)展示，每個(gè)階段都需要質(zhì)量治理，評(píng)價(jià)維度包括完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性等。

在系統(tǒng)建設(shè)的各個(gè)階段都應(yīng)該根據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)和規(guī)范，及時(shí)進(jìn)行治理，避免事后的清洗工作。

質(zhì)量檢測(cè)可參考以下維度：

下面是根據(jù)美團(tuán)的技術(shù)文章總結(jié)的幾點(diǎn)具體治理方式：

1. 規(guī)范治理

規(guī)范是數(shù)倉(cāng)建設(shè)的保障。為了避免出現(xiàn)指標(biāo)重復(fù)建設(shè)和數(shù)據(jù)質(zhì)量差的情況，統(tǒng)一按照最詳細(xì)、可落地的方法進(jìn)行規(guī)范建設(shè)。

(1) 詞根

詞根是維度和指標(biāo)管理的基礎(chǔ)，劃分為普通詞根與專(zhuān)有詞根，提高詞根的易用性和關(guān)聯(lián)性。

• 普通詞根：描述事物的最小單元體，如：交易-trade。

• 專(zhuān)有詞根：具備約定成俗或行業(yè)專(zhuān)屬的描述體，如：美元-USD。

(2) 表命名規(guī)范

通用規(guī)范

• 表名、字段名采用一個(gè)下劃線(xiàn)分隔詞根（示例：clienttype->client_type）。

• 每部分使用小寫(xiě)英文單詞，屬于通用字段的必須滿(mǎn)足通用字段信息的定義。

• 表名、字段名需以字母為開(kāi)頭。

• 表名、字段名最長(zhǎng)不超過(guò)64個(gè)英文字符。

• 優(yōu)先使用詞根中已有關(guān)鍵字（數(shù)倉(cāng)標(biāo)準(zhǔn)配置中的詞根管理），定期Review新增命名的不合理性。

• 在表名自定義部分禁止采用非標(biāo)準(zhǔn)的縮寫(xiě)。

表命名規(guī)則

• 表名稱(chēng) = 類(lèi)型 + 業(yè)務(wù)主題 + 子主題 + 表含義 + 存儲(chǔ)格式 + 更新頻率 +結(jié)尾，如下圖所示：

(3) 指標(biāo)命名規(guī)范

結(jié)合指標(biāo)的特性以及詞根管理規(guī)范，將指標(biāo)進(jìn)行結(jié)構(gòu)化處理。

1. 基礎(chǔ)指標(biāo)詞根，即所有指標(biāo)必須包含以下基礎(chǔ)詞根：

2. 業(yè)務(wù)修飾詞，用于描述業(yè)務(wù)場(chǎng)景的詞匯，例如trade-交易。

3.日期修飾詞，用于修飾業(yè)務(wù)發(fā)生的時(shí)間區(qū)間。

4.聚合修飾詞，對(duì)結(jié)果進(jìn)行聚集操作。

5.基礎(chǔ)指標(biāo)，單一的業(yè)務(wù)修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) ，例如：交易金額-trade_amt。

6.派生指標(biāo)，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性，例如：安裝門(mén)店數(shù)量-install_poi_cnt。

7.普通指標(biāo)命名規(guī)范，與字段命名規(guī)范一致，由詞匯轉(zhuǎn)換即可以。

2. 架構(gòu)治理

(1) 數(shù)據(jù)分層

優(yōu)秀可靠的數(shù)倉(cāng)體系，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對(duì)下游的影響，并且要避免鏈路過(guò)長(zhǎng)，一般的分層架構(gòu)如下：

(2) 數(shù)據(jù)流向

穩(wěn)定業(yè)務(wù)按照標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開(kāi)發(fā)，即ODS-->DWD-->DWA-->APP。非穩(wěn)定業(yè)務(wù)或探索性需求，可以遵循ODS->DWD->APP或者ODS->DWD->DWT->APP兩個(gè)模型數(shù)據(jù)流。在保障了數(shù)據(jù)鏈路的合理性之后，又在此基礎(chǔ)上確認(rèn)了模型分層引用原則：

• 正常流向：ODS>DWD->DWT->DWA->APP，當(dāng)出現(xiàn)ODS >DWD->DWA->APP這種關(guān)系時(shí)，說(shuō)明主題域未覆蓋全。應(yīng)將DWD數(shù)據(jù)落到DWT中，對(duì)于使用頻度非常低的表允許DWD->DWA。

• 盡量避免出現(xiàn)DWA寬表中使用DWD又使用（該DWD所歸屬主題域）DWT的表。

• 同一主題域內(nèi)對(duì)于DWT生成DWT的表，原則上要盡量避免，否則會(huì)影響ETL的效率。

• DWT、DWA和APP中禁止直接使用ODS的表， ODS的表只能被DWD引用。

• 禁止出現(xiàn)反向依賴(lài)，例如DWT的表依賴(lài)DWA的表。

3. 元數(shù)據(jù)治理

元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)：

技術(shù)元數(shù)據(jù)為開(kāi)發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)的IT 人員使用，它描述了與數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)、管理和維護(hù)相關(guān)的數(shù)據(jù)，包括數(shù)據(jù)源信息、數(shù)據(jù)轉(zhuǎn)換描述、數(shù)據(jù)倉(cāng)庫(kù)模型、數(shù)據(jù)清洗與更新規(guī)則、數(shù)據(jù)映射和訪(fǎng)問(wèn)權(quán)限等。

常見(jiàn)的技術(shù)元數(shù)據(jù)有：

• 存儲(chǔ)元數(shù)據(jù)：如表、字段、分區(qū)等信息。

• 運(yùn)行元數(shù)據(jù)：如大數(shù)據(jù)平臺(tái)上所有作業(yè)運(yùn)行等信息：類(lèi)似于 Hive Job 日志，包括作業(yè)類(lèi)型、實(shí)例名稱(chēng)、輸入輸出、 SQL 、運(yùn)行參數(shù)、執(zhí)行時(shí)間，執(zhí)行引擎等。

• 數(shù)據(jù)開(kāi)發(fā)平臺(tái)中數(shù)據(jù)同步、計(jì)算任務(wù)、任務(wù)調(diào)度等信息：包括數(shù)據(jù)同步的輸入輸出表和字段，以及同步任務(wù)本身的節(jié)點(diǎn)信息：計(jì)算任務(wù)主要有輸入輸出、任務(wù)本身的節(jié)點(diǎn)信息 任務(wù)調(diào)度主要有任務(wù)的依賴(lài)類(lèi)型、依賴(lài)關(guān)系等，以及不同類(lèi)型調(diào)度任務(wù)的運(yùn)行日志等。

• 數(shù)據(jù)質(zhì)量和運(yùn)維相關(guān)元數(shù)據(jù)：如任務(wù)監(jiān)控、運(yùn)維報(bào)警、數(shù)據(jù)質(zhì)量、故障等信息，包括任務(wù)監(jiān)控運(yùn)行日志、告警配置及運(yùn)行日志、故障信息等。

業(yè)務(wù)元數(shù)據(jù)為管理層和業(yè)務(wù)分析人員服務(wù)，從業(yè)務(wù)角度描述數(shù)據(jù)，包括商務(wù)術(shù)語(yǔ)、數(shù)據(jù)倉(cāng)庫(kù)中有什么數(shù)據(jù)、數(shù)據(jù)的位置和數(shù)據(jù)的可用性等，幫助業(yè)務(wù)人員更好地理解數(shù)據(jù)倉(cāng)庫(kù)中哪些數(shù)據(jù)是可用的以及如何使用。

• 常見(jiàn)的業(yè)務(wù)元數(shù)據(jù)有維度及屬性(包括維度編碼，字段類(lèi)型，創(chuàng)建人，創(chuàng)建時(shí)間，狀態(tài)等)、業(yè)務(wù)過(guò)程、指標(biāo)(包含指標(biāo)名稱(chēng),指標(biāo)編碼，業(yè)務(wù)口徑，指標(biāo)類(lèi)型，責(zé)任人，創(chuàng)建時(shí)間，狀態(tài)，sql等)，安全等級(jí)，計(jì)算邏輯等的規(guī)范化定義，用于更好地管理和使用數(shù)據(jù)。數(shù)據(jù)應(yīng)用元數(shù)據(jù)，如數(shù)據(jù)報(bào)表、數(shù)據(jù)產(chǎn)品等的配置和運(yùn)行元數(shù)據(jù)。

元數(shù)據(jù)不僅定義了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的模式、來(lái)源、抽取和轉(zhuǎn)換規(guī)則等，而且是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)運(yùn)行的基礎(chǔ)，元數(shù)據(jù)把數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中各個(gè)松散的組件聯(lián)系起來(lái)，組成了一個(gè)有機(jī)的整體。

元數(shù)據(jù)治理主要解決三個(gè)問(wèn)題：

1. 通過(guò)建立相應(yīng)的組織、流程和工具，推動(dòng)業(yè)務(wù)標(biāo)準(zhǔn)的落地實(shí)施，實(shí)現(xiàn)指標(biāo)的規(guī)范定義，消除指標(biāo)認(rèn)知的歧義；

2. 基于業(yè)務(wù)現(xiàn)狀和未來(lái)的演進(jìn)方式，對(duì)業(yè)務(wù)模型進(jìn)行抽象，制定清晰的主題、業(yè)務(wù)過(guò)程和分析方向，構(gòu)建完備的技術(shù)元數(shù)據(jù)，對(duì)物理模型進(jìn)行準(zhǔn)確完善的描述，并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系，對(duì)物理模型進(jìn)行完備的刻畫(huà)；

3. 通過(guò)元數(shù)據(jù)建設(shè)，為使用數(shù)據(jù)提效，解決“找數(shù)、理解數(shù)、評(píng)估”難題以及“取數(shù)、數(shù)據(jù)可視化”等難題。

4. 安全治理

圍繞數(shù)據(jù)安全標(biāo)準(zhǔn)，首先要有數(shù)據(jù)的分級(jí)、分類(lèi)標(biāo)準(zhǔn)，確保數(shù)據(jù)在上線(xiàn)前有著準(zhǔn)確的密級(jí)。第二，針對(duì)數(shù)據(jù)使用方，要有明確的角色授權(quán)標(biāo)準(zhǔn)，通過(guò)分級(jí)分類(lèi)和角色授權(quán)，來(lái)保障重要數(shù)據(jù)拿不走。第三，針對(duì)敏感數(shù)據(jù)，要有隱私管理標(biāo)準(zhǔn)，保障敏感數(shù)據(jù)的安全存儲(chǔ)，即使未授權(quán)用戶(hù)繞過(guò)權(quán)限管理拿到敏感數(shù)據(jù)，也要確保其看不懂。第四，通過(guò)制定審計(jì)標(biāo)準(zhǔn)，為后續(xù)的審計(jì)提供審計(jì)依據(jù)，確保數(shù)據(jù)走不脫。

5. 數(shù)據(jù)生命周期治理

任何事物都具有一定的生命周期，數(shù)據(jù)也不例外。從數(shù)據(jù)的產(chǎn)生、加工、使用乃至消亡都應(yīng)該有一個(gè)科學(xué)的管理辦法，將極少或者不再使用的數(shù)據(jù)從系統(tǒng)中剝離出來(lái)，并通過(guò)核實(shí)的存儲(chǔ)設(shè)備進(jìn)行保留，不僅能夠提高系統(tǒng)的運(yùn)行效率，更好的服務(wù)客戶(hù)，還能大幅度減少因?yàn)閿?shù)據(jù)長(zhǎng)期保存帶來(lái)的儲(chǔ)存成本。數(shù)據(jù)生命周期一般包含在線(xiàn)階段、歸檔階段（有時(shí)還會(huì)進(jìn)一步劃分為在線(xiàn)歸檔階段和離線(xiàn)歸檔階段）、銷(xiāo)毀階段三大階段，管理內(nèi)容包括建立合理的數(shù)據(jù)類(lèi)別，針對(duì)不同類(lèi)別的數(shù)據(jù)制定各個(gè)階段的保留時(shí)間、存儲(chǔ)介質(zhì)、清理規(guī)則和方式、注意事項(xiàng)等。

從上圖數(shù)據(jù)生命周期中各參數(shù)間的關(guān)系中我們可以了解到，數(shù)據(jù)生命周期管理可以使得高價(jià)值數(shù)據(jù)的查詢(xún)效率大幅提升，而且高價(jià)格的存儲(chǔ)介質(zhì)的采購(gòu)量也可以減少很多；但是隨著數(shù)據(jù)的使用程度的下降，數(shù)據(jù)被逐漸歸檔，查詢(xún)時(shí)間也慢慢的變長(zhǎng)；最后隨著數(shù)據(jù)的使用頻率和價(jià)值基本沒(méi)有了之后，就可以逐漸銷(xiāo)毀了。

參考鏈接：

https://mp.weixin.qq.com/s/h6HnkROzljralUj2aZyNUQ

https://zhuanlan.zhihu.com/p/137454121

https://www.infoq.cn/article/KJzDGU6IkWKyaPZXbFkB

https://blog.csdn.net/MeituanTech/article/details/102617733

https://baijiahao.baidu.com/s?id=1699535513357258268

https://tech.meituan.com/2020/03/12/delivery-data-governance.html

--end--

掃描下方二維碼
添加好友，備注【交流】
可私聊交流，也可進(jìn)資源豐富學(xué)習(xí)群

更文不易，點(diǎn)個(gè)“在看”支持一下??