數(shù)據(jù)治理究竟是份什么工作？
為什么是臟活、累活？
1. 源數(shù)據(jù)
煙囪式開發(fā)：
業(yè)務(wù)繁多、數(shù)據(jù)庫多而亂，系統(tǒng)與系統(tǒng)之間錯綜復(fù)雜
數(shù)據(jù)庫種類：
架構(gòu)經(jīng)歷多次變遷，切換不完全，需要從Mysql、oracle、hbase甚至excle表中跨庫、跨實(shí)例、跨種類才能獲得有效業(yè)務(wù)數(shù)據(jù)
數(shù)據(jù)結(jié)構(gòu)混亂：
同一字段，類型、命名都不一致
文檔缺失：
無數(shù)據(jù)庫文檔或文檔陳舊
2. 變遷
系統(tǒng)版本升級：
每一次升級都只是掩蓋之前的錯誤，數(shù)據(jù)治理需要從源頭
人員變更：
梳理過程中的大部分問題最終答案：
“不清楚，原來維護(hù)人已離職”
數(shù)據(jù)流轉(zhuǎn)：
數(shù)據(jù)從源頭經(jīng)過很多次不規(guī)范的同步
3. 存量
各自為政：
各業(yè)務(wù)部門已有自己的統(tǒng)計(jì)邏輯和報(bào)表，同一指標(biāo)匯總維度又不一致，梳理、治理、輸出還要盡量不影響已有報(bào)表結(jié)果
半途而廢：
前任都知道數(shù)據(jù)治理、統(tǒng)一出口的重要性，但只完成一部分就放棄了。
問題在于“完成的一部分”有人還在用
怎么開始？
1. 方法論
統(tǒng)一定義：
對個性化的數(shù)據(jù)指標(biāo)統(tǒng)一規(guī)范定義
標(biāo)準(zhǔn)建模：
建立數(shù)據(jù)公共層對模型架構(gòu)進(jìn)行標(biāo)準(zhǔn)規(guī)范設(shè)計(jì)和管理
規(guī)范研發(fā)：
將建模方法體系貫穿在整個數(shù)據(jù)研發(fā)流程
工具保障：
通過研發(fā)一系列的工具保障方法體系的落地實(shí)施
2. 統(tǒng)一方法策略：統(tǒng)一歸口、統(tǒng)一出口
3. 統(tǒng)一業(yè)務(wù)歸口
1.模型
規(guī)范化模型分層、數(shù)據(jù)流向和主題劃分，從而降低研發(fā)成本，增強(qiáng)指標(biāo)復(fù)用性，并提高業(yè)務(wù)的支撐能力。
2.規(guī)范
規(guī)范是數(shù)倉建設(shè)的保障。為了避免出現(xiàn)指標(biāo)重復(fù)建設(shè)和數(shù)據(jù)字段難以理解的情況
(1) 詞根
詞根是維度和指標(biāo)管理的基礎(chǔ)，劃分為普通詞根與專有詞根，提高詞根的易用性和關(guān)聯(lián)性。
普通詞根：
描述事物的最小單元體
專有詞根：
具備約定成俗或行業(yè)專屬的描述體，如：
-USD。
(2) 表命名規(guī)范
通用規(guī)范
表名、字段名采用一個下劃線分隔詞根（示例：
clienttype->client_type）。
每部分使用小寫英文單詞，屬于通用字段的必須滿足通用字段信息的定義。
表名、字段名需以字母為開頭
表名、字段名最長不超過64個英文字符。
優(yōu)先使用詞根中已有關(guān)鍵字（數(shù)倉標(biāo)準(zhǔn)配置中的詞根管理)
在表名自定義部分禁止采用非標(biāo)準(zhǔn)的縮寫
表命名規(guī)則
表名稱 = 所處分層 + 業(yè)務(wù)主題 + 子主題 + 表含義 + 更新頻率 + [分表：_0、_10]
(3) 指標(biāo)命名規(guī)范
結(jié)合指標(biāo)的特性以及詞根管理規(guī)范，將指標(biāo)進(jìn)行結(jié)構(gòu)化處理。
A. 基礎(chǔ)指標(biāo)詞根，即所有指標(biāo)必須包含以下基礎(chǔ)詞根：
| 基礎(chǔ)指標(biāo)詞根 | 英文全稱 | Hive數(shù)據(jù)類型 | MySQL數(shù)據(jù)類型 | 長度 | 精度 | 詞根 | 樣例 |
| 數(shù)量 | count | Bigint | Bigint | 10 | 0 | cnt | |
| 金額類 | amout | Decimal | Decimal | 20 | 4 | amt | |
| 比率/占比 | ratio | Decimal | Decimal | 10 | 4 | ratio | 0.9818 |
B.日期修飾詞，用于修飾業(yè)務(wù)發(fā)生的時間區(qū)間。
| 日期類型 | 全稱 | 詞根 | 備注 |
| 日 | daily | d | |
| 周 | weekly | w | |
| 月 | monthy | m | |
| 季度 | quarterly | q | Q1 ~ Q4 |
C.聚合修飾詞，對結(jié)果進(jìn)行聚集操作。
| 聚合類型 | 全稱 | 詞根 | 備注 |
| 平均 | average | avg | |
| 周累計(jì) | wtd | wtd |
E.基礎(chǔ)指標(biāo)，單一的業(yè)務(wù)修飾詞 + 基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) ，例如：交易金額 - trade_amt
F.派生指標(biāo)，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性，例如：新增門店數(shù)量-new_store_cnt
(4) 清洗規(guī)范
確認(rèn)了字段命名和指標(biāo)命名之后，根據(jù)指標(biāo)與字段的部分特性，我們整理出了整個數(shù)倉可預(yù)知的24條清洗規(guī)范：
| 數(shù)據(jù)類型 | 數(shù)據(jù)類別 | Hive類型 | MySQL類型 | 長度 | 精度 | 詞根 | 格式說明 | 備注 |
| 日期類型 | 字符日期類 | string | varchar | 10 | date | YYYY-MM-DD | 日期清洗為相應(yīng)的格式 | |
| 數(shù)據(jù)類型 | 數(shù)量類 | bigint | bigint | 10 | 0 | cnt | 活躍門店 |
3. 統(tǒng)一數(shù)據(jù)出口
數(shù)倉建設(shè)保證數(shù)據(jù)質(zhì)量以及數(shù)據(jù)的使用，對數(shù)據(jù)資產(chǎn)管理和統(tǒng)一數(shù)據(jù)出口之前：
統(tǒng)一指標(biāo)管理，保證了指標(biāo)定義、計(jì)算口徑、數(shù)據(jù)來源的一致性
統(tǒng)一維度管理，保證了維度定義、維度值的一致性
統(tǒng)一數(shù)據(jù)出口，實(shí)現(xiàn)了維度和指標(biāo)元數(shù)據(jù)信息的唯一出口，維值和指標(biāo)數(shù)據(jù)的唯一出口
4. 數(shù)據(jù)資產(chǎn)沉淀
詞根、命名歸檔
指標(biāo)定義說明、指標(biāo)樹歸檔
維度、維度樹、數(shù)據(jù)類型
計(jì)算邏輯統(tǒng)一，如：
利潤、成本等形成標(biāo)準(zhǔn)計(jì)算公式
5. 流程改善
建立運(yùn)維監(jiān)控體系
開發(fā)流程(僅包含數(shù)據(jù)模型及 ETL )，關(guān)鍵節(jié)點(diǎn)維度、指標(biāo)及計(jì)算邏輯確定
6. 標(biāo)準(zhǔn)化規(guī)范化數(shù)據(jù)流向
避免大量的煙囪式開發(fā)、重復(fù)生成明細(xì)表或輕度匯總表、分層引用等不規(guī)范性及數(shù)據(jù)鏈路混亂
標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開發(fā)：
即ODS–>DWD–>DWS–>APP 或 ODS–>DWD–>DWM–>APP
新業(yè)務(wù)數(shù)據(jù)流：
遵循ODS->DWD->APP或者ODS->DWD->DWS->APP兩個模型數(shù)據(jù)流
寄語：一旦開始數(shù)據(jù)治理，不要半途而廢
https://www.zhihu.com/answer/2551758354 原文