數(shù)據(jù)治理的數(shù)字畫像
引言
隨著全網(wǎng)步入大數(shù)據(jù)時代，企業(yè)的目光日益聚焦在利用大數(shù)據(jù)服務(wù)精細(xì)化營銷、精細(xì)化運(yùn)營上，各類客戶畫像、員工畫像理論如雨后春筍般興起，而數(shù)據(jù)應(yīng)用的底層——數(shù)據(jù)治理，卻鮮有整體的理論體系。如何避免治理工作自身“無的放矢”，如何量化數(shù)據(jù)基礎(chǔ)建設(shè)的貢獻(xiàn)，我們需要為數(shù)據(jù)治理工作描繪一張“數(shù)字畫像”。這個命題的內(nèi)涵外延非常豐富，在此我們選取用戶體驗(yàn)、架構(gòu)質(zhì)量兩個角度進(jìn)行討論。
基于不同的感知角度，將用戶分為外部客戶、內(nèi)部用戶、管理層、技術(shù)人員四類，針對特定的業(yè)務(wù)場景刻畫四類使用者所體會到的“科技賦能”。
1、外部客戶
功能體驗(yàn)指標(biāo)：功能體驗(yàn)指標(biāo)用于衡量操作平臺的易用性及直觀程度?？梢酝ㄟ^各類埋點(diǎn)，對用戶的點(diǎn)擊行為、頁面停留時間、頁面瀏覽深度進(jìn)行跟蹤。從而挖掘用戶常使用的功能，探究用戶的實(shí)際需要，對于常用功能可以開展功能的改版優(yōu)化，進(jìn)行同業(yè)產(chǎn)品比較、用戶反饋調(diào)查等，重點(diǎn)關(guān)注主要功能的流暢度、實(shí)用性。
平臺服務(wù)指標(biāo)：
（1）服務(wù)平臺一般利用API接口向外提供數(shù)據(jù)，因此，通過計(jì)算API調(diào)用率可以計(jì)算出其向外輸出服務(wù)的活躍程度。
（2）由數(shù)據(jù)服務(wù)帶來的產(chǎn)品升值也是需要衡量的一大重要指標(biāo)。營銷、運(yùn)營等商業(yè)活動價值提升以一定的比例分配給其相應(yīng)的數(shù)據(jù)治理工作，從業(yè)務(wù)部門有感的角度評估數(shù)據(jù)治理工作對營銷等活動的賦能。
2、內(nèi)部用戶
便利性：過去業(yè)務(wù)部門向數(shù)據(jù)管理部門申請使用數(shù)據(jù)，通常使用郵件或行政流程的方式，這種方法無法實(shí)時跟蹤申請進(jìn)度，也無法在統(tǒng)一的頁面集中管理，導(dǎo)致相關(guān)工作人員在查詢與溝通上花費(fèi)了大量精力。建立自動化、規(guī)范化流程以及線上運(yùn)營工具，將極大地便利流程，因此，手工提取工單壓降比率可以作為度量內(nèi)部用戶程度的指標(biāo)。
時效性：線上化數(shù)據(jù)治理意味著資產(chǎn)地圖、標(biāo)準(zhǔn)架構(gòu)即存放在用戶指尖，關(guān)鍵作業(yè)的全鏈路交付時間是觸達(dá)內(nèi)部用戶的另一直觀感受。該指標(biāo)可以通過統(tǒng)計(jì)各節(jié)點(diǎn)的流轉(zhuǎn)時間，計(jì)算相應(yīng)平均值獲得。
貢獻(xiàn)度：不僅是底層的數(shù)據(jù)管理，數(shù)據(jù)的應(yīng)用輸出同樣能夠?yàn)橛脩魩韺?shí)際業(yè)務(wù)價值。BI工具的使用、模型提供數(shù)量等指標(biāo)標(biāo)志著用戶對于應(yīng)用類數(shù)據(jù)成果的滿意度。
3、管理層
質(zhì)量提升：對于管理層而言，保障數(shù)據(jù)倉庫、數(shù)據(jù)湖的“清澈”是他們關(guān)心的問題。由于監(jiān)管報(bào)送結(jié)果是銀保監(jiān)對銀行的重點(diǎn)考核指標(biāo)，報(bào)送規(guī)定的數(shù)據(jù)質(zhì)量達(dá)標(biāo)率成為對于管理層數(shù)據(jù)治理成效最直觀的反映。基于DQC的一系列指標(biāo)同樣可作為面向管理層的數(shù)據(jù)清潔度體現(xiàn)。
效率提升：除監(jiān)管要求之外，數(shù)據(jù)運(yùn)營成本對于全行管理也是至關(guān)重要的。只有建立規(guī)范和高效的數(shù)據(jù)架構(gòu)，壓降數(shù)據(jù)報(bào)表，降低儲存、運(yùn)維成本，才能實(shí)現(xiàn)精細(xì)化營運(yùn)，維持高效率盈利。
4、技術(shù)人員
數(shù)據(jù)字典評分：當(dāng)企業(yè)實(shí)施開發(fā)過程強(qiáng)管控時，數(shù)據(jù)字典的角色可看作是法律之于社會，其整體邏輯必須經(jīng)得起反復(fù)推敲。在數(shù)據(jù)字典的查詢頁面設(shè)立評分反饋是一種簡單但行之有效的方法。頁面上有計(jì)劃的引導(dǎo)，反映設(shè)計(jì)者關(guān)注開發(fā)人員的使用體驗(yàn)，從而讓“吐槽”變成建議，優(yōu)化和解決使用數(shù)據(jù)字典時遇到的問題。
全行統(tǒng)一的數(shù)據(jù)架構(gòu)應(yīng)在追求高效率的同時降低成本，根據(jù)《華為數(shù)據(jù)之道》中信息架構(gòu)的經(jīng)典四范式，我們將從模型、分布、標(biāo)準(zhǔn)、資產(chǎn)四個角度對架構(gòu)賦能能力進(jìn)行度量。
1、模型
公共層加工頻率：公共層中存放有事實(shí)數(shù)據(jù)、維表數(shù)據(jù)等等，它們支撐著指標(biāo)體系中的一級指標(biāo)層。在建立指標(biāo)時，將維度規(guī)范化、集約化，提高公共指標(biāo)的復(fù)用性，減少重復(fù)加工的操作，故公共層數(shù)據(jù)模型的復(fù)用率可作為公共層架構(gòu)評估的指數(shù)之一。
應(yīng)用層引用頻率：類似于人際關(guān)系網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中的核心人物算法，該指數(shù)直接衡量應(yīng)用層中數(shù)據(jù)的系統(tǒng)性重要程度，引導(dǎo)資產(chǎn)盤點(diǎn)的目標(biāo)。數(shù)據(jù)血緣關(guān)系是一種有向的、無權(quán)值、無自環(huán)的網(wǎng)絡(luò)圖。被引用頻率高的資產(chǎn)一般來源于關(guān)鍵業(yè)務(wù)實(shí)體中最準(zhǔn)確和最及時的業(yè)務(wù)記錄。這一些資產(chǎn)被跨部門、跨業(yè)務(wù)領(lǐng)域調(diào)用的概率最大，需要實(shí)現(xiàn)所有部門可訪問并且訪問到相同的數(shù)據(jù)。該指數(shù)還能夠有效地篩選出“孤兒表”、臨時表，減少資源投入和儲存成本。
2、分布
數(shù)據(jù)覆蓋：對于大型銀行而言，數(shù)以百計(jì)的系統(tǒng)，數(shù)以萬計(jì)的庫表在全國范圍內(nèi)分布式儲存。采集是資產(chǎn)盤點(diǎn)的第一步，測量采集數(shù)在全量系統(tǒng)的覆蓋率幫助我們明確當(dāng)前采集的進(jìn)度，定位未采集的數(shù)據(jù)來源。
數(shù)據(jù)冗余：數(shù)據(jù)冗余指同層數(shù)據(jù)的冗余，具體可分為兩個來源。第一，多個物理位置中存儲了相同意義的數(shù)據(jù)；第二，架構(gòu)模型本身在設(shè)計(jì)上有較多的重復(fù)交叉項(xiàng)。
數(shù)據(jù)容量：數(shù)據(jù)容量是對數(shù)據(jù)中臺的整體描述，它包括當(dāng)前中臺所囊括的整體數(shù)據(jù)體量的絕對值，也包含該體量隨時間的增長比例。數(shù)據(jù)容量并非越高或者越低更理想，它需要結(jié)合銀行的現(xiàn)狀辯證性地看待。
3、標(biāo)準(zhǔn)
標(biāo)準(zhǔn)穩(wěn)定性：數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化了數(shù)據(jù)含義、結(jié)構(gòu)等等，應(yīng)當(dāng)滿足內(nèi)容統(tǒng)一、不交叉定義等條件，避免數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)部發(fā)生“數(shù)據(jù)打架”。
標(biāo)準(zhǔn)落標(biāo)率：在標(biāo)準(zhǔn)的技術(shù)規(guī)范完備，主題齊全，標(biāo)準(zhǔn)已權(quán)威發(fā)布的前提下，標(biāo)準(zhǔn)落標(biāo)率反映了數(shù)據(jù)標(biāo)準(zhǔn)“最后一公里”的執(zhí)行情況。借助自動化工具，能夠計(jì)算出各類分層、切片后的數(shù)據(jù)落標(biāo)率，智能化地發(fā)現(xiàn)落標(biāo)潛在問題。
4、資產(chǎn)
技術(shù)元數(shù)據(jù)統(tǒng)計(jì)：技術(shù)元數(shù)據(jù)打通了源數(shù)據(jù)和數(shù)據(jù)倉庫，記錄了數(shù)據(jù)從產(chǎn)生到消亡的過程。我們從中挑選出系統(tǒng)覆蓋率、系統(tǒng)內(nèi)表級覆蓋率、表名以及字段名的有效率、枚舉值的有效率等統(tǒng)計(jì)指標(biāo)表示數(shù)據(jù)架構(gòu)中技術(shù)類資產(chǎn)的產(chǎn)出效益。
企業(yè)活動命中率：數(shù)據(jù)資產(chǎn)是從業(yè)務(wù)流程、業(yè)務(wù)模型中抽取出來的數(shù)字化描述。標(biāo)簽資產(chǎn)對業(yè)務(wù)行為的命中率、指標(biāo)資產(chǎn)對報(bào)表統(tǒng)計(jì)的命中率、報(bào)表資產(chǎn)的用戶訪問量等數(shù)值越高，代表著資產(chǎn)內(nèi)容映射企業(yè)活動的準(zhǔn)確度越高。
伴隨著企業(yè)數(shù)字化轉(zhuǎn)型不斷深入，“數(shù)據(jù)治理的數(shù)字畫像”從方法論到實(shí)踐都將趨于完善，內(nèi)容價值、安全性能、用戶體驗(yàn)也會隨之提高。如何動態(tài)地衡量數(shù)據(jù)治理工作成效，建立適合自身企業(yè)的“北極星指標(biāo)”，是每一家處于智慧轉(zhuǎn)型階段的公司所必須研究的，它的成功將創(chuàng)造出不可估量的商業(yè)價值。
推薦閱讀：
世界的真實(shí)格局分析，地球人類社會底層運(yùn)行原理
不是你需要中臺，而是一名合格的架構(gòu)師（附各大廠中臺建設(shè)PPT）
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺實(shí)踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf
華為如何實(shí)施數(shù)字化轉(zhuǎn)型（附PPT）
超詳細(xì)280頁Docker實(shí)戰(zhàn)文檔！開放下載