1. 數(shù)據(jù)中臺即服務——數(shù)據(jù)中臺的四大支柱

        共 5169字,需瀏覽 11分鐘

         ·

        2021-08-29 03:58


        導讀:并不是數(shù)據(jù)中臺不行,是需要找到正確使用它的方法。


        作者:石秀峰

        來源:談數(shù)據(jù)(ID:learning-bigdata)





        中臺概念,2015年誕生,2019年爆火,在最火的時候被很多人當成了“無所不能”的“萬能藥”,只要是IT的問題,就一個藥方——上“中臺”!于是乎,很多企業(yè)都爭先恐后,紛紛走上了上中臺的路。

        但似乎“好景”不長,2019年末“中臺”的大潮還未退卻,就已經(jīng)傳出了對中臺的質(zhì)疑聲——“中臺,我信了你的邪!”。到了2020年對中臺的質(zhì)疑、唱衰、乃至討伐的聲音更是此起彼伏,在加上中臺的鼻祖——“阿里,徹底拆中臺了”,讓中臺徹底跌下了“神壇”。

        而作為眾多“中臺”核心成員之一的“數(shù)據(jù)中臺”,似乎成了“中臺”家族的最頑強的那個,在沸沸揚揚“中臺”質(zhì)疑聲中苦苦地掙扎著……


        01 我們在談「數(shù)據(jù)中臺」的時候,到底在談論什么?

        在過去了兩年里,我做了一些關(guān)于的數(shù)據(jù)中臺研究,也寫了幾篇數(shù)據(jù)中臺的文章,試圖去理解和定義清楚“什么是數(shù)據(jù)中臺”。過程中,我發(fā)現(xiàn)不同的人對“數(shù)據(jù)中臺”的理解是不一樣的:

        • 有人認為:數(shù)據(jù)中臺是一個方法論,用來指導企業(yè)實現(xiàn)“業(yè)務數(shù)據(jù)化、數(shù)據(jù)業(yè)務化”;
        • 有人認為:數(shù)據(jù)中臺是一個管理和使用數(shù)據(jù)的思維模式,核心是數(shù)據(jù)資產(chǎn)的沉淀;
        • 有人認為:數(shù)據(jù)中臺是大數(shù)據(jù)平臺的延伸,是大數(shù)據(jù)的下一站;
        • 有人認為:數(shù)據(jù)中臺是對內(nèi)進行數(shù)據(jù)共享,對外提供數(shù)據(jù)開放的數(shù)據(jù)服務平臺;
        • 也有的人將數(shù)據(jù)中臺當做一個產(chǎn)品,常常拿它與數(shù)據(jù)倉庫進行功能比較。

        以上對于說法各有各的道理,可以說都正確,只是在不同的場景下的不同理解而已。當我們設(shè)計和構(gòu)建數(shù)據(jù)中臺時,我們致力于提供其他團隊開發(fā)項目所需的能力和工具。但是,要想讓數(shù)據(jù)中臺真正發(fā)揮價值,單純理念、產(chǎn)品、技術(shù)或方法論某一個方面去理解和定義它,是不行的。

        我在早前的一篇文章《數(shù)據(jù)中臺“熱”下的“冷思考”》中也對數(shù)據(jù)中臺定義過:「數(shù)據(jù)中臺」是集組織機構(gòu)、實施方法、管理流程與規(guī)范、技術(shù)與工具為一體的解決方案。

        現(xiàn)在看來,說數(shù)據(jù)中臺是一個解決方案沒問題,但太過籠統(tǒng),筆者試著對這個定義做一個細化和優(yōu)化。

        筆者認為:數(shù)據(jù)中臺更像是一個數(shù)據(jù)產(chǎn)品或數(shù)據(jù)服務的數(shù)據(jù)能力工廠,它由“產(chǎn)品導向、數(shù)據(jù)服務、敏捷團隊、賦能中心”四大支柱支撐,提供數(shù)據(jù)資產(chǎn)加工,數(shù)據(jù)分析和應用,數(shù)據(jù)服務輸出等能力——數(shù)據(jù)中臺即服務。

        ▲圖:?談數(shù)據(jù)原創(chuàng)

        • 產(chǎn)品導向:這是提供給用戶的數(shù)據(jù)平臺、所有特性和功能,是工具和技術(shù)層面的內(nèi)容,負責管理、加工、處理、運營數(shù)據(jù)。
        • 敏捷團隊:這是最重要的、確保數(shù)據(jù)中臺成功最大的支柱,是實現(xiàn)新的數(shù)據(jù)運營模式——DataOps的關(guān)鍵。
        • 數(shù)據(jù)服務:這是數(shù)據(jù)中臺的靈魂,通過數(shù)據(jù)中臺讓用戶在不付出大量努力和成本的情況下實現(xiàn)的結(jié)果,為用戶提供價值。
        • 培訓賦能:這是讓數(shù)據(jù)用起來的重要手段,它也是一項服務可以獨立突顯價值。


        02 數(shù)據(jù)中臺支柱一:產(chǎn)品導向

        數(shù)據(jù)中臺是在數(shù)據(jù)倉庫、大數(shù)據(jù)平臺基礎(chǔ)之上發(fā)展起來的,都想“去其糟粕取其精華”形成一個理想的數(shù)據(jù)中臺架構(gòu)。但“理想很豐滿,現(xiàn)實很骨干”,在不同公司中,存在不同的現(xiàn)狀和需求,沒有一個數(shù)據(jù)中臺可以匹配所有的業(yè)務需求。

        因此,數(shù)據(jù)中臺的建設(shè)應該建立在深刻理解企業(yè)需求并關(guān)注“未來發(fā)展”的基礎(chǔ)之上。

        從產(chǎn)品側(cè)看,數(shù)據(jù)中臺應包含的能力和特性有:數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量、DataOps、數(shù)據(jù)服務、系統(tǒng)監(jiān)控等。在企業(yè)環(huán)境中,提供這些特性的唯一方法是:產(chǎn)品導向。即,以用戶為中心,采用敏捷方法,通過MVP——最小可行的產(chǎn)品,定期獲得用戶反饋,快速迭代,持續(xù)改進,構(gòu)建和沉淀數(shù)據(jù)服務能力。

        我們提供了基于產(chǎn)品導向的數(shù)據(jù)中臺架構(gòu)設(shè)計的9個最佳實踐,供參考:

        1. 傾聽用戶(含潛在用戶)的聲音并嘗試了解他們的需求及用戶體驗。
        2. 定義數(shù)據(jù)中臺的定位和長期目標,數(shù)據(jù)中臺一定不是一個通用的工具,每個企業(yè)的數(shù)據(jù)中臺都應該有自己的“使命”。
        3. 全面的數(shù)據(jù)中臺架構(gòu)設(shè)計,定義哪些是常用功能,哪些是重要功能,定義盡量簡化的業(yè)務場景,方便客戶實現(xiàn)目標。
        4. 以MVP(最小可行產(chǎn)品)方式進行開發(fā),及時與用戶分享,以獲得用戶的初步反饋。
        5. 循序敏捷開發(fā),不斷優(yōu)化改進。
        6. 清晰的產(chǎn)品路標設(shè)計,讓老板和關(guān)鍵用戶能夠看到你現(xiàn)在在哪兒,要到哪去,以及定期獲得用戶的反饋。
        7. 數(shù)據(jù)中臺的規(guī)劃設(shè)計,MVP的開發(fā)都要一開始就致力于為用戶提供價值,同時獲取用戶的反饋。用戶需求不是一成不變的,數(shù)據(jù)中臺必須不斷變化,變化是數(shù)據(jù)中臺生命周期的一部分。
        8. 數(shù)據(jù)中臺技術(shù)路線最好選擇云原生架構(gòu),微服務、DevOps、容器云等將使得數(shù)據(jù)產(chǎn)品的開發(fā)變得敏捷。
        9. 最后也是最重要的是要記住:數(shù)據(jù)平臺也好,數(shù)據(jù)中臺也罷,擁有最好的架構(gòu)并不重要,再好的產(chǎn)品如果沒有人使用它或者晚了兩年用,那樣就失去意義了。


        03 數(shù)據(jù)中臺支柱二:數(shù)據(jù)服務

        在筆者看來,數(shù)據(jù)中臺最重要的不是中臺而是數(shù)據(jù),但“純粹”的源數(shù)據(jù)嚴格來說還也不是數(shù)據(jù)中臺的一部分,需要將其加工、處理、標準化形成數(shù)據(jù)服務和數(shù)據(jù)產(chǎn)品。數(shù)據(jù)即服務——這是數(shù)據(jù)中臺的靈魂。從這個角度講,數(shù)據(jù)服務是數(shù)據(jù)中臺的核心,并直接為用戶提供價值。

        數(shù)據(jù)中臺提供的能力包括:數(shù)據(jù)資產(chǎn)管理,公共數(shù)據(jù)服務,垂直數(shù)據(jù)服務,數(shù)據(jù)服務開放共享,數(shù)據(jù)運營,中臺管理等。數(shù)據(jù)中臺即服務,每一項中臺的能力都是為服務用戶而生!

        ▲圖:?談數(shù)據(jù)原創(chuàng)

        1. 公共數(shù)據(jù)服務

        • 數(shù)據(jù)整合化,以范式化的主題模型整合異構(gòu)數(shù)據(jù)源數(shù)據(jù),形成一數(shù)一源(One Data);
        • 數(shù)據(jù)服務化,屏蔽上游數(shù)據(jù)結(jié)構(gòu)變化對下游的影響;
        • 數(shù)據(jù)標準化,統(tǒng)一業(yè)務和技術(shù)對數(shù)據(jù)的理解和認知。

        2. 垂直數(shù)據(jù)服務

        • 整合內(nèi)外部數(shù)據(jù)源,提供單線條垂直數(shù)據(jù)服務能力;
        • 提供貼源的數(shù)據(jù)存儲和服務,基于批處理或流媒體創(chuàng)建和自動化數(shù)據(jù)可靠管道。

        3. 數(shù)據(jù)萃取服務標

        • 統(tǒng)一ID,提供跨系統(tǒng)、跨設(shè)備、統(tǒng)一的數(shù)據(jù)標識(One ID);
        • 統(tǒng)一標簽體系,支持加工和提煉數(shù)據(jù)標簽;
        • 統(tǒng)一指標體系,支持加工和存儲并提供統(tǒng)一指標數(shù)據(jù);
        • 一般不建議將復雜的加工萃取數(shù)據(jù)方式放在數(shù)據(jù)中臺,如計算引擎,那是數(shù)據(jù)平臺該干的活兒。

        4. 數(shù)據(jù)開放共享服務

        • 提供多樣的數(shù)據(jù)服務方式,將數(shù)據(jù)中臺的數(shù)據(jù)提供給數(shù)據(jù)應用方使用;
        • 提供定制化模板服務,數(shù)據(jù)以約定的格式或復雜加工后,提供數(shù)據(jù)應用方使用。

        5. 數(shù)據(jù)資產(chǎn)管理

        • 提供統(tǒng)一的數(shù)據(jù)資產(chǎn)地圖,數(shù)據(jù)目錄和自助數(shù)據(jù)服務能力;
        • 提供數(shù)據(jù)治理能力,統(tǒng)一數(shù)據(jù)標準和用數(shù)規(guī)范。

        6. 數(shù)據(jù)中臺運營

        • 支持數(shù)據(jù)資產(chǎn)日常運營,提升數(shù)據(jù)資產(chǎn)價值;
        • 提升需求響應效率,加速應用研發(fā)迭代效率。

        7. 數(shù)據(jù)中臺管理

        • 提供數(shù)據(jù)管理、項目管理、開發(fā)管理、運營管理等支撐能力,為數(shù)據(jù)中臺的持續(xù)化數(shù)據(jù)服務保駕護航。


        04 數(shù)據(jù)中臺支柱三:敏捷團隊

        如今市場需求千變?nèi)f化,“及時性”比以往任何時候都更加重要,數(shù)據(jù)中臺需要將合適的數(shù)據(jù)及時送達用戶,要做到這一點實際上并不容易。

        我們知道,中臺是一種“中心化”的組織模式,“中心化”意味著極強的管控能力,標準化能力、統(tǒng)一調(diào)度和復用能力。

        但“中心化”也有個很大缺點:這個“中心”一旦建的過大,就會陷入瓶頸,公司所有部門集中向一個團隊提交用數(shù)需求,更多的任務將超出數(shù)據(jù)中臺團隊的能力范圍,從而讓“數(shù)據(jù)中臺”變得臃腫而效率低下。


        數(shù)據(jù)中臺需要更加自動化的平臺能力和更加敏捷的團隊,以用戶需求為中心,以協(xié)同協(xié)作的方式,支持業(yè)務與技術(shù)的團隊融合(混合團隊),鼓勵團隊協(xié)作和知識共享。對傳統(tǒng)企業(yè)而言,建立敏捷的協(xié)作團隊并不容易,一開始需要很多努力,但從長遠來看對企業(yè)會有很大幫助!

        數(shù)據(jù)中臺中的敏捷團隊重點關(guān)注的是“DataOps”——數(shù)據(jù)操作或數(shù)據(jù)運營,可以理解為數(shù)據(jù)的DevOps,目的是“讓數(shù)據(jù)用起來”。DataOps揉和了DevOps理念中快速敏捷、持續(xù)集成等關(guān)鍵點,強調(diào)通過調(diào)整文化、流程和使用的工具,實現(xiàn)團隊的融合和工作的協(xié)同,持續(xù)迭代數(shù)據(jù)架構(gòu),快速提升業(yè)務價值。


        數(shù)據(jù)中臺敏捷團隊的角色構(gòu)成:

        • 產(chǎn)品經(jīng)理:負責定義業(yè)務目標,維護和執(zhí)行數(shù)據(jù)愿景、戰(zhàn)略等。
        • 解決方案架構(gòu)師:負責定義的需求和要求一致的整體技術(shù)藍圖。
        • 數(shù)據(jù)工程師:數(shù)據(jù)中臺的核心技術(shù)團隊,負責構(gòu)建整個數(shù)據(jù)“供應鏈”,了解Hadoop、Spark、Kafka等技術(shù)體系架構(gòu),創(chuàng)建數(shù)據(jù)模型,實現(xiàn)數(shù)據(jù)采集、流轉(zhuǎn)和存儲,為數(shù)據(jù)集成提供支持。
        • 數(shù)據(jù)治理團隊:負責數(shù)據(jù)質(zhì)量和安全的處理和預防,確保業(yè)務目標的完成。有時候,也會將數(shù)據(jù)治理團隊作為DataOps的一個分支。BI團隊、數(shù)據(jù)科學家團隊是實現(xiàn)“DataOps”關(guān)鍵組成,負責數(shù)據(jù)的探索、挖掘、分析以及數(shù)據(jù)的可視化。為業(yè)務問題提供支持,幫助理解業(yè)務問題、梳理數(shù)據(jù)結(jié)構(gòu)、優(yōu)化數(shù)據(jù)質(zhì)量等。
        • 業(yè)務用戶:提供用數(shù)需求是數(shù)據(jù)中臺服務的最終用戶。業(yè)務用戶基于數(shù)據(jù)中臺的自助服務能力,進行數(shù)據(jù)的探查、探索,以及自助式數(shù)據(jù)分析。


        05 數(shù)據(jù)中臺支柱四:培訓賦能

        在傳統(tǒng)企業(yè),數(shù)據(jù)中臺對于大部分人員來說還是個新事物,要讓各部門、各團隊習慣使用數(shù)據(jù)中臺,其實是個并不容易的事情。除了有了新的技術(shù)要求,更重要的是數(shù)據(jù)中臺有一套新的流程和方法。有效的溝通和培訓十分重要,有利于提高數(shù)據(jù)中臺的使用率。

        在數(shù)字化轉(zhuǎn)型的大背景下,培訓賦能是一個被廣泛提及的話題,即,通過培訓的方式賦予人或團隊的某些能力,主要包括:技術(shù)賦能、數(shù)據(jù)賦能、工具賦能等。

        培訓是賦能的一個重要手段,但在實際的操作過程,往往也存在一些問題,導致培訓賦能的效果并不理想,例如:

        • 參與培訓的學員,往往將培訓當成為一個臨時的任務,他們中的一部分還有很多工作,所以他們并沒有完全專注于培訓的課程。
        • 一部分學員在培訓過程中,經(jīng)常受到其他事項的干擾,導致沒有完成完整的課程。
        • 即使部分學員完成了完整的課程,可一旦正式使用還是不會用。
        • 那么,這些培訓是不必要的嗎?當然不是,但您可能需要調(diào)整一下培訓的方法和內(nèi)容。實戰(zhàn)例子、參考代碼、練習,全程的支持,將傳統(tǒng)“授課式”培訓轉(zhuǎn)變?yōu)椤皩崙?zhàn)式”培訓,并及時獲得反饋。

        讓業(yè)務用戶真正參與到數(shù)據(jù)團隊中來,參與意味著幫助設(shè)計、開發(fā)和數(shù)據(jù)中臺運營。這種方法能夠業(yè)務團隊能夠鞏固專業(yè)的數(shù)據(jù)中臺知識,并讓自己也成為知識的生成者。數(shù)據(jù)中臺團隊也會受益,因為他們更加能夠切身了解業(yè)務用戶的實際需求。

        在整個數(shù)據(jù)中臺運營過程中,技術(shù)團隊的職責重點關(guān)注基礎(chǔ)設(shè)施組件的建設(shè)、數(shù)據(jù)服務能力的開發(fā)和數(shù)據(jù)供應鏈協(xié)調(diào)。同時,還有一個重要的職責就是“培訓賦能”,為業(yè)務用戶提供數(shù)據(jù)中臺使用的教練和輔導服務。


        寫在最后的話

        產(chǎn)品導向、數(shù)據(jù)服務、敏捷團隊、培訓賦能是構(gòu)成數(shù)據(jù)中臺的四大支柱,是“讓數(shù)據(jù)用起來”的基礎(chǔ),缺少一個都會使整個架構(gòu)不穩(wěn)。同時,數(shù)據(jù)中臺重點關(guān)注DataOps,為不同的業(yè)務用戶提供不同的“數(shù)據(jù)管道”,實現(xiàn)數(shù)據(jù)價值。

        文章的最后的最后再給大家分享一個典型DataOps框架:

        ▲來源:http://dockone.io/article/9833

        黑色箭頭表示典型的數(shù)據(jù)管道,源數(shù)據(jù)通過管道逐步移動到三個階段(數(shù)據(jù)采集,數(shù)據(jù)工程和數(shù)據(jù)分析)。這些管道代表了一個數(shù)據(jù)供應鏈,這個數(shù)據(jù)供應鏈可以處理,優(yōu)化和豐富數(shù)據(jù),以供各種業(yè)務用戶和應用程序使用。一個管道可能會填充財務使用的OLAP多維數(shù)據(jù)集;另一個可能將集成的客戶數(shù)據(jù)傳遞到實時Web應用程序;另一個可能會為建立活動響應模型的數(shù)據(jù)科學家創(chuàng)建一個細分的原始數(shù)據(jù)池。


        延伸閱讀??

        延伸閱讀《數(shù)據(jù)中臺:讓數(shù)據(jù)用起來》

        干貨直達??


        更多精彩??

        在公眾號對話框輸入以下關(guān)鍵詞
        查看更多優(yōu)質(zhì)內(nèi)容!

        PPT | 讀書 | 書單 | 硬核 | 干貨 | 講明白 | 神操作
        大數(shù)據(jù) | 云計算 | 數(shù)據(jù)庫 | Python | 爬蟲 | 可視化
        AI | 人工智能 | 機器學習 | 深度學習 | NLP
        5G | 中臺 | 用戶畫像 1024 | 數(shù)學 | 算法 數(shù)字孿生

        據(jù)統(tǒng)計,99%的大咖都關(guān)注了這個公眾號
        ??
        瀏覽 18
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
          
          

            1. 大香蕉网站在线 | freechina麻豆hdvideo | 嫩草 人人精品免费 | 和女同学玩她真做进去了 | 极品一区 |