數(shù)據(jù)中臺即服務——數(shù)據(jù)中臺的四大支柱

導讀:并不是數(shù)據(jù)中臺不行,是需要找到正確使用它的方法。
作者:石秀峰
來源:談數(shù)據(jù)(ID:learning-bigdata)

有人認為:數(shù)據(jù)中臺是一個方法論,用來指導企業(yè)實現(xiàn)“業(yè)務數(shù)據(jù)化、數(shù)據(jù)業(yè)務化”; 有人認為:數(shù)據(jù)中臺是一個管理和使用數(shù)據(jù)的思維模式,核心是數(shù)據(jù)資產(chǎn)的沉淀; 有人認為:數(shù)據(jù)中臺是大數(shù)據(jù)平臺的延伸,是大數(shù)據(jù)的下一站; 有人認為:數(shù)據(jù)中臺是對內(nèi)進行數(shù)據(jù)共享,對外提供數(shù)據(jù)開放的數(shù)據(jù)服務平臺; 也有的人將數(shù)據(jù)中臺當做一個產(chǎn)品,常常拿它與數(shù)據(jù)倉庫進行功能比較。

產(chǎn)品導向:這是提供給用戶的數(shù)據(jù)平臺、所有特性和功能,是工具和技術(shù)層面的內(nèi)容,負責管理、加工、處理、運營數(shù)據(jù)。 敏捷團隊:這是最重要的、確保數(shù)據(jù)中臺成功最大的支柱,是實現(xiàn)新的數(shù)據(jù)運營模式——DataOps的關(guān)鍵。 數(shù)據(jù)服務:這是數(shù)據(jù)中臺的靈魂,通過數(shù)據(jù)中臺讓用戶在不付出大量努力和成本的情況下實現(xiàn)的結(jié)果,為用戶提供價值。 培訓賦能:這是讓數(shù)據(jù)用起來的重要手段,它也是一項服務可以獨立突顯價值。
傾聽用戶(含潛在用戶)的聲音并嘗試了解他們的需求及用戶體驗。 定義數(shù)據(jù)中臺的定位和長期目標,數(shù)據(jù)中臺一定不是一個通用的工具,每個企業(yè)的數(shù)據(jù)中臺都應該有自己的“使命”。 全面的數(shù)據(jù)中臺架構(gòu)設(shè)計,定義哪些是常用功能,哪些是重要功能,定義盡量簡化的業(yè)務場景,方便客戶實現(xiàn)目標。 以MVP(最小可行產(chǎn)品)方式進行開發(fā),及時與用戶分享,以獲得用戶的初步反饋。 循序敏捷開發(fā),不斷優(yōu)化改進。 清晰的產(chǎn)品路標設(shè)計,讓老板和關(guān)鍵用戶能夠看到你現(xiàn)在在哪兒,要到哪去,以及定期獲得用戶的反饋。 數(shù)據(jù)中臺的規(guī)劃設(shè)計,MVP的開發(fā)都要一開始就致力于為用戶提供價值,同時獲取用戶的反饋。用戶需求不是一成不變的,數(shù)據(jù)中臺必須不斷變化,變化是數(shù)據(jù)中臺生命周期的一部分。 數(shù)據(jù)中臺技術(shù)路線最好選擇云原生架構(gòu),微服務、DevOps、容器云等將使得數(shù)據(jù)產(chǎn)品的開發(fā)變得敏捷。 最后也是最重要的是要記住:數(shù)據(jù)平臺也好,數(shù)據(jù)中臺也罷,擁有最好的架構(gòu)并不重要,再好的產(chǎn)品如果沒有人使用它或者晚了兩年用,那樣就失去意義了。

數(shù)據(jù)整合化,以范式化的主題模型整合異構(gòu)數(shù)據(jù)源數(shù)據(jù),形成一數(shù)一源(One Data); 數(shù)據(jù)服務化,屏蔽上游數(shù)據(jù)結(jié)構(gòu)變化對下游的影響; 數(shù)據(jù)標準化,統(tǒng)一業(yè)務和技術(shù)對數(shù)據(jù)的理解和認知。
整合內(nèi)外部數(shù)據(jù)源,提供單線條垂直數(shù)據(jù)服務能力; 提供貼源的數(shù)據(jù)存儲和服務,基于批處理或流媒體創(chuàng)建和自動化數(shù)據(jù)可靠管道。
統(tǒng)一ID,提供跨系統(tǒng)、跨設(shè)備、統(tǒng)一的數(shù)據(jù)標識(One ID); 統(tǒng)一標簽體系,支持加工和提煉數(shù)據(jù)標簽; 統(tǒng)一指標體系,支持加工和存儲并提供統(tǒng)一指標數(shù)據(jù); 一般不建議將復雜的加工萃取數(shù)據(jù)方式放在數(shù)據(jù)中臺,如計算引擎,那是數(shù)據(jù)平臺該干的活兒。
提供多樣的數(shù)據(jù)服務方式,將數(shù)據(jù)中臺的數(shù)據(jù)提供給數(shù)據(jù)應用方使用; 提供定制化模板服務,數(shù)據(jù)以約定的格式或復雜加工后,提供數(shù)據(jù)應用方使用。
提供統(tǒng)一的數(shù)據(jù)資產(chǎn)地圖,數(shù)據(jù)目錄和自助數(shù)據(jù)服務能力; 提供數(shù)據(jù)治理能力,統(tǒng)一數(shù)據(jù)標準和用數(shù)規(guī)范。
支持數(shù)據(jù)資產(chǎn)日常運營,提升數(shù)據(jù)資產(chǎn)價值; 提升需求響應效率,加速應用研發(fā)迭代效率。
提供數(shù)據(jù)管理、項目管理、開發(fā)管理、運營管理等支撐能力,為數(shù)據(jù)中臺的持續(xù)化數(shù)據(jù)服務保駕護航。


產(chǎn)品經(jīng)理:負責定義業(yè)務目標,維護和執(zhí)行數(shù)據(jù)愿景、戰(zhàn)略等。 解決方案架構(gòu)師:負責定義的需求和要求一致的整體技術(shù)藍圖。 數(shù)據(jù)工程師:數(shù)據(jù)中臺的核心技術(shù)團隊,負責構(gòu)建整個數(shù)據(jù)“供應鏈”,了解Hadoop、Spark、Kafka等技術(shù)體系架構(gòu),創(chuàng)建數(shù)據(jù)模型,實現(xiàn)數(shù)據(jù)采集、流轉(zhuǎn)和存儲,為數(shù)據(jù)集成提供支持。 數(shù)據(jù)治理團隊:負責數(shù)據(jù)質(zhì)量和安全的處理和預防,確保業(yè)務目標的完成。有時候,也會將數(shù)據(jù)治理團隊作為DataOps的一個分支。BI團隊、數(shù)據(jù)科學家團隊是實現(xiàn)“DataOps”關(guān)鍵組成,負責數(shù)據(jù)的探索、挖掘、分析以及數(shù)據(jù)的可視化。為業(yè)務問題提供支持,幫助理解業(yè)務問題、梳理數(shù)據(jù)結(jié)構(gòu)、優(yōu)化數(shù)據(jù)質(zhì)量等。 業(yè)務用戶:提供用數(shù)需求是數(shù)據(jù)中臺服務的最終用戶。業(yè)務用戶基于數(shù)據(jù)中臺的自助服務能力,進行數(shù)據(jù)的探查、探索,以及自助式數(shù)據(jù)分析。
參與培訓的學員,往往將培訓當成為一個臨時的任務,他們中的一部分還有很多工作,所以他們并沒有完全專注于培訓的課程。 一部分學員在培訓過程中,經(jīng)常受到其他事項的干擾,導致沒有完成完整的課程。 即使部分學員完成了完整的課程,可一旦正式使用還是不會用。 那么,這些培訓是不必要的嗎?當然不是,但您可能需要調(diào)整一下培訓的方法和內(nèi)容。實戰(zhàn)例子、參考代碼、練習,全程的支持,將傳統(tǒng)“授課式”培訓轉(zhuǎn)變?yōu)椤皩崙?zhàn)式”培訓,并及時獲得反饋。



評論
圖片
表情
