1. 新一代數(shù)據(jù)基礎(chǔ)設(shè)施:數(shù)據(jù)智能平臺(附下載)

        共 5953字,需瀏覽 12分鐘

         ·

        2021-11-30 17:55

        ? ? ?一、數(shù)字化轉(zhuǎn)型背景下,

        ? ? ? ? ?企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)

        ?1

        數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施

        數(shù)據(jù)平臺是企業(yè)進行數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用,從而實現(xiàn)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。通常,數(shù)據(jù)平臺包含數(shù)據(jù)采集與接入、數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)服務(wù)等功能。

        f7357d5541b2243f8be0c8d76bce385f.webp

        圖 1???典型數(shù)據(jù)平臺架構(gòu)

        從業(yè)務(wù)的角度,數(shù)據(jù)平臺支撐了企業(yè)數(shù)字化轉(zhuǎn)型的各項需求,企業(yè)因此能夠?qū)崿F(xiàn)精細化運營,從而降低運營成本、提高運營效率、提升創(chuàng)新能力。具體而言,通過數(shù)據(jù)平臺的應(yīng)用,企業(yè)可以在業(yè)務(wù)中實現(xiàn)數(shù)據(jù)驅(qū)動,從而達成以下目標:

        1)準確洞察用戶畫像和用戶需求;

        2)及時感知市場趨勢;

        3)降低管理和生產(chǎn)成本;

        4)設(shè)計和生產(chǎn)出更符合用戶需求的產(chǎn)品;

        5)更快地推出和迭代產(chǎn)品。

        ?2

        ?企業(yè)數(shù)據(jù)管理與應(yīng)用正面臨一系列挑戰(zhàn)

        近年來,面對市場環(huán)境的快速變化,以及政府對發(fā)展數(shù)字經(jīng)濟的促進舉措,企業(yè)對數(shù)字化的價值的理解愈加深刻。在各行業(yè)企業(yè)或政府部門紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)的同時,數(shù)據(jù)在企業(yè)經(jīng)營管理中的應(yīng)用廣度和深度也隨之極大地擴展,由此帶來數(shù)據(jù)管理與應(yīng)用的一系列問題和挑戰(zhàn)。

        (1)數(shù)據(jù)規(guī)模持續(xù)膨脹,數(shù)據(jù)資產(chǎn)管理重要性提升

        隨著企業(yè)業(yè)務(wù)的快速發(fā)展以及全面的數(shù)字化,企業(yè)內(nèi)部業(yè)務(wù)和數(shù)據(jù)系統(tǒng)會變得眾多,當這些數(shù)據(jù)匯聚之后,需要處理的各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模也因此急劇膨脹。這給企業(yè)的數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理帶來了以下問題:

        1)不確定數(shù)據(jù)價值。企業(yè)用戶往往不能確定系統(tǒng)中有哪些數(shù)據(jù),也不知道自己的業(yè)務(wù)問題可以使用哪些數(shù)據(jù)來解決。

        2)不能共享數(shù)據(jù)。企業(yè)缺少統(tǒng)一的數(shù)據(jù)管理標準,導致各業(yè)務(wù)部門之間難以對數(shù)據(jù)進行匯聚、共享和使用,從而無法發(fā)揮大數(shù)據(jù)的協(xié)同價值。

        3)難以獲取所需數(shù)據(jù)。用戶獲取所需數(shù)據(jù)的過程太長和復(fù)雜,且缺乏有效的數(shù)據(jù)開發(fā)工具,導致用戶獲取和使用數(shù)據(jù)存在困難。

        (2)數(shù)據(jù)應(yīng)用場景持續(xù)擴展,敏捷性、易用性、實時性、智能化要求提升

        為了充分發(fā)揮數(shù)據(jù)的價值,數(shù)據(jù)驅(qū)動的決策和業(yè)務(wù)應(yīng)用正逐漸滲透進企業(yè)的各個部門和各個業(yè)務(wù)線。面對數(shù)據(jù)應(yīng)用場景的持續(xù)擴展,企業(yè)對其底層數(shù)據(jù)平臺也提出更高的技術(shù)和能力要求,包括了敏捷性、易用性、實時性、智能化四個方面的要求,具體如下:

        敏捷性。企業(yè)存在大量數(shù)據(jù)分析,尤其是創(chuàng)新性的數(shù)據(jù)分析和應(yīng)用需求。但傳統(tǒng)豎井式建設(shè)的信息系統(tǒng)修改困難、集成混亂;企業(yè)缺乏自有的技術(shù)開發(fā)能力,無法快速響應(yīng)業(yè)務(wù)需求。

        易用性。數(shù)據(jù)平臺逐漸由賦能數(shù)據(jù)部門轉(zhuǎn)向全面賦能業(yè)務(wù)部門,而使用傳統(tǒng)數(shù)據(jù)平臺需要的編程和數(shù)據(jù)分析能力是大部分業(yè)務(wù)人員所不具備的,因此需要新一代的數(shù)據(jù)平臺具備低門檻的自助分析能力,適應(yīng)不同能力的數(shù)據(jù)或業(yè)務(wù)人員。

        實時性。企業(yè)在生產(chǎn)和運營中存在越來越多的實時決策場景,如何快速查找、分析和獲得數(shù)據(jù)洞察是當前數(shù)據(jù)平臺面臨的一大挑戰(zhàn),需要從平臺的架構(gòu)設(shè)計、計算和存儲引擎,以及業(yè)務(wù)流程優(yōu)化上滿足數(shù)據(jù)分析的實時性需求。

        智能化。在數(shù)據(jù)應(yīng)用越來越多的背景下,企業(yè)相關(guān)的人力配備已不能滿足需求,因此需要平臺具備智能化的能力,一方面在數(shù)據(jù)分析環(huán)節(jié)引入自動化能力,減少人工操作,降低人力成本。另一方面,通過平臺的智能預(yù)測能力,提高業(yè)務(wù)決策效率和能力。

        (3) 數(shù)據(jù)安全合規(guī)要求趨嚴

        數(shù)字化時代,數(shù)據(jù)安全風險已經(jīng)滲透在數(shù)據(jù)應(yīng)用中的各個層面,例如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)共享等,因此企業(yè)數(shù)據(jù)泄漏造成的損失和風險的可能在加大。

        與此同時,大眾對數(shù)據(jù)隱私的關(guān)注,加上監(jiān)管對數(shù)據(jù)安全要求的趨嚴,都促使企業(yè)在搭建新一代的數(shù)據(jù)平臺時,需要在各個層級上都建立完善的安全機制防范數(shù)據(jù)泄漏的風險。

        表1? 數(shù)據(jù)安全重點法律法規(guī)

        bad055295682c2bdfb8331b606f4dc6f.webp



        ? ? ? ?二、構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施:

        ? ? ? ? ? 數(shù)據(jù)智能平臺?

        ?1

        ? 數(shù)據(jù)智能平臺的定義

        要定義新一代的數(shù)據(jù)基礎(chǔ)設(shè)施,我們首先需要闡明在之前的發(fā)展階段中,不同階段的數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)生的原因、應(yīng)用場景和面對新階段的需求時的局限性。

        數(shù)據(jù)基礎(chǔ)設(shè)施經(jīng)過數(shù)十年的發(fā)展,已經(jīng)依次經(jīng)歷了三個階段:數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺。在數(shù)據(jù)庫階段,企業(yè)對數(shù)據(jù)的使用需求主要是面向管理層從宏觀層面對公司的經(jīng)營狀況做描述性分析,處理的數(shù)據(jù)為有限的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)倉庫階段,企業(yè)對數(shù)據(jù)的使用需求從面向管理層拓寬到面向業(yè)務(wù)人員,主要滿足一些業(yè)務(wù)監(jiān)測和洞察類的數(shù)據(jù)查詢和分析需求,處理的數(shù)據(jù)依然以結(jié)構(gòu)化數(shù)據(jù)為主。在大數(shù)據(jù)平臺階段,企業(yè)需要處理大規(guī)模、多源異構(gòu)的數(shù)據(jù),對業(yè)務(wù)的監(jiān)測和洞察也更多地偏向診斷性和預(yù)測性分析。

        而到了2019年之后數(shù)字化轉(zhuǎn)型的新階段中,企業(yè)對數(shù)據(jù)應(yīng)用的范圍從之前的管理層和部分業(yè)務(wù)人員擴展到了跨部門、跨企業(yè)的數(shù)據(jù)共享,需要進行大量面向業(yè)務(wù),實時和智能決策的探索式、自助式分析,并且需要處理超大規(guī)模的多源異構(gòu)和實時數(shù)據(jù)。如第一章節(jié)所述,這些變化對數(shù)據(jù)管理和應(yīng)用帶來了一系列挑戰(zhàn)和需求,傳統(tǒng)的數(shù)據(jù)平臺已經(jīng)無法滿足,新一代的數(shù)據(jù)基礎(chǔ)設(shè)施即是要解決這些問題。

        d70786e5da717cece39582fe696aeda3.webp

        圖 2? 數(shù)據(jù)基礎(chǔ)設(shè)施的演進歷程

        因此,新一代的數(shù)據(jù)基礎(chǔ)設(shè)施,數(shù)據(jù)智能平臺,可以被定義為企業(yè)數(shù)字化運營深入階段的統(tǒng)一數(shù)據(jù)能力平臺,能夠?qū)?shù)據(jù)資產(chǎn)按統(tǒng)一標準進行管理以方便數(shù)據(jù)可用,并滿足企業(yè)對數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實時響應(yīng)、簡單易用、智能分析等需求,同時具備完善的數(shù)據(jù)安全機制。

        ?2

        ?數(shù)據(jù)智能平臺的核心能力

        基于對數(shù)字化轉(zhuǎn)型深入階段,企業(yè)在數(shù)據(jù)管理和應(yīng)用中需要面對和解決的問題的理解,以及對一些行業(yè)領(lǐng)先企業(yè)在搭建數(shù)據(jù)智能平臺中的實踐案例的調(diào)研和經(jīng)驗總結(jié),正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強、敏捷開發(fā)與應(yīng)用、實時數(shù)據(jù)處理與分析四大核心能力(如圖3所示)。

        87930bf2fc184748d2ded853216b7cd0.webp

        圖3 數(shù)據(jù)智能平臺的四大核心能力

        (1) 云原生

        云原生是指在應(yīng)用的設(shè)計階段就為了云的運行環(huán)境而設(shè)計,包含微服務(wù)、容器化、DevOps、持續(xù)交付等特征。云原生架構(gòu)能夠為數(shù)據(jù)平臺帶來以下主要能力優(yōu)勢:

        1)云原生架構(gòu)下大數(shù)據(jù)組件都是以容器化的形式來部署,企業(yè)因此能夠快速的開發(fā)、測試、迭代和上線大數(shù)據(jù)應(yīng)用,并且方便了數(shù)據(jù)的共享和復(fù)用。

        2)快速集成新的開發(fā)工具。企業(yè)經(jīng)常需要在數(shù)據(jù)平臺中嘗試新的功能組件,由于主流的開源軟件基本都提供了容器化部署,因此能夠快速集成到云原生架構(gòu)的數(shù)據(jù)平臺中。

        3)降低系統(tǒng)復(fù)雜性和運維成本。在云原生架構(gòu)的數(shù)據(jù)平臺中,Kubernetes、Mesos等工具能夠?qū)崿F(xiàn)統(tǒng)一的資源管理和調(diào)度,這極大提高了系統(tǒng)復(fù)雜性,提高了運行效率,并且在數(shù)據(jù)平臺中部署和運行分布式系統(tǒng)也更加便捷。

        4)輕松實現(xiàn)存算分離和彈性伸縮,降低使用成本。云原生架構(gòu)能夠輕松實現(xiàn)計算和存儲資源的分離,企業(yè)因此可以按照需求分別使用存儲和計算資源,這降低了使用成本,也簡化了多云和混合云部署。

        (2)AI增強

        AI增強是指利用機器學習和人工智能技術(shù)使數(shù)據(jù)清洗與準備、數(shù)據(jù)分析與可視化、機器學習等分析過程中實現(xiàn)部分環(huán)節(jié)的自動化,從而節(jié)省大量的人力成本。AI增強的自動化能力主要體現(xiàn)在數(shù)據(jù)智能平臺運營過程中的以下環(huán)節(jié):

        1)數(shù)據(jù)清洗與準備:自動匹配,聯(lián)接,分析,標記和注釋數(shù)據(jù);推薦用于連接、豐富、清洗數(shù)據(jù)的最佳方法;自動執(zhí)行重復(fù)的轉(zhuǎn)換和集成;自動識別數(shù)據(jù)沿襲和元數(shù)據(jù)。

        2)數(shù)據(jù)分析與可視化:自動查找和描述數(shù)據(jù)中的相關(guān)性、異常、聚類、關(guān)鍵驅(qū)動因素和預(yù)測等;自動生成圖表或報表;可視化或?qū)υ捊缑妫∟LQ&NLG)查找和分析數(shù)據(jù)。

        3)機器學習:自動特征工程;自動模型選擇和參數(shù)調(diào)整;自動模型部署和監(jiān)控。

        (3)敏捷開發(fā)與應(yīng)用

        數(shù)字化的核心目標之一是要能夠支撐企業(yè)的商業(yè)創(chuàng)新,尤其是當數(shù)據(jù)和數(shù)據(jù)應(yīng)用的規(guī)模和復(fù)雜性越來越大的時候,企業(yè)要去嘗試各種新的數(shù)據(jù)應(yīng)用,就需要數(shù)據(jù)平臺具備相應(yīng)的敏捷響應(yīng)能力。數(shù)據(jù)智能平臺的敏捷性主要包括了工具集成的敏捷性、數(shù)據(jù)開發(fā)的敏捷性、數(shù)據(jù)分析和應(yīng)用的敏捷性。

        1)工具集成的敏捷性。當企業(yè)需要嘗試新的數(shù)據(jù)應(yīng)用時,經(jīng)常需要用到一些新的分析框架,如前文提到,云原生架構(gòu)能夠為企業(yè)提供快速接入和部署新的工具或組件的敏捷化能力。

        2)數(shù)據(jù)開發(fā)的敏捷性。數(shù)據(jù)開發(fā)的目的是使用各種工具,包括數(shù)據(jù)建模、數(shù)據(jù)探索、數(shù)據(jù)查詢、機器學習、數(shù)據(jù)可視化等,來完成數(shù)據(jù)分析。要實現(xiàn)敏捷的數(shù)據(jù)開發(fā),通常需要企業(yè)構(gòu)建一站式的數(shù)據(jù)集成和開發(fā)平臺,提供大數(shù)據(jù)的匯聚、加工、服務(wù)、資產(chǎn)管理等全流程能力,并降低其使用門檻。

        3)數(shù)據(jù)分析和應(yīng)用的敏捷性。實現(xiàn)數(shù)據(jù)分析和應(yīng)用的敏捷性數(shù)據(jù)平臺在底層數(shù)據(jù)管理和數(shù)據(jù)分析工具上有相應(yīng)的功能設(shè)計,比如,通過建立標簽體系方便用戶將數(shù)據(jù)快速應(yīng)用于業(yè)務(wù),通過提供可視化的分析工具靈活地滿足用戶的分析需求,通過AI增強能力自動識別有價值的數(shù)據(jù)并推送給用戶等。

        (4)實時數(shù)據(jù)處理與分析

        為了應(yīng)對企業(yè)越來愈多的實時性數(shù)據(jù)分析需求,數(shù)據(jù)平臺需要在以下層面具備實時性的數(shù)據(jù)處理能力:

        1)實時的數(shù)據(jù)接入和數(shù)據(jù)采集。應(yīng)用Kafka、RocketMQ等工具實現(xiàn)數(shù)據(jù)的實時采集。同時,對于核心業(yè)務(wù)系統(tǒng)數(shù)據(jù),進行被動采集;對于用戶訪問行為習慣等數(shù)據(jù),則會進行主動采集。

        2)實時的數(shù)據(jù)計算與查詢?;贔link等實時計算引擎,以及指標計算、規(guī)則計算、模型計算等多種計算處理能力,構(gòu)建數(shù)據(jù)平臺的實時計算和查詢能力。

        3)實時的數(shù)據(jù)分發(fā)。通過Kafka實現(xiàn)靈活的數(shù)據(jù)分發(fā),以承載不同用戶的實時業(yè)務(wù)。

        4)流批一體。由于企業(yè)在業(yè)務(wù)分析中使用的數(shù)據(jù)范圍越來愈多地橫跨歷史數(shù)據(jù)和實時數(shù)據(jù),需要數(shù)據(jù)平臺具備流批一體的能力,用一套邏輯描述流與批業(yè)務(wù),用一個引擎也能處理實時和離線數(shù)據(jù)。

        ?3

        ? 新一代數(shù)據(jù)智能平臺的架構(gòu)

        結(jié)合前文所述的當前企業(yè)在數(shù)據(jù)管理和應(yīng)用中面臨的挑戰(zhàn),以及對一些領(lǐng)先企業(yè)搭建的數(shù)據(jù)智能平臺的架構(gòu)進行歸納總結(jié),如圖4所示的數(shù)據(jù)智能平臺的典型架構(gòu)。

        6c2890960cc7cf263595b2e4495c3885.webp

        圖4? 數(shù)據(jù)智能平臺的典型架構(gòu)

        可以看到,新一代的數(shù)據(jù)智能平臺的架構(gòu)至少在五個層面具有區(qū)別于傳統(tǒng)數(shù)據(jù)平臺架構(gòu)的特征。

        表2? 數(shù)據(jù)智能平臺與傳統(tǒng)數(shù)據(jù)平臺的主要區(qū)別

        8ae5c1dd0b8f69d0b79a38fe6233d418.webp



        ? ? ?三、數(shù)據(jù)智能平臺的建設(shè)方法論?

        類似傳統(tǒng)數(shù)據(jù)平臺的構(gòu)建,數(shù)據(jù)智能平臺的構(gòu)建是一個需要從全局進行規(guī)劃和建設(shè),并在后續(xù)運行中能夠持續(xù)迭代的系統(tǒng)性工程,因此需要一套科學和完備的方法論指導這一過程。

        通過對多家領(lǐng)先企業(yè)的數(shù)據(jù)智能平臺實踐案例進行調(diào)研,總結(jié)了數(shù)據(jù)智能平臺建設(shè)過程中比較共性的最佳實踐方法論,涉及的核心環(huán)節(jié)主要包括頂層戰(zhàn)略規(guī)劃、應(yīng)用場景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計、組織與人員規(guī)劃等方面。他們構(gòu)成的數(shù)據(jù)智能平臺建設(shè)的主要流程,以及具體包含的內(nèi)容如圖5所示:

        dfb79f68e2ee596aec7f3fbb4653c5ae.webp

        圖 5???數(shù)據(jù)智能平臺建設(shè)的關(guān)鍵環(huán)節(jié)

        ?1

        ?頂層戰(zhàn)略規(guī)劃

        數(shù)據(jù)智能平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的新一代數(shù)據(jù)基礎(chǔ)設(shè)施,是企業(yè)各部門各業(yè)務(wù)線共同的數(shù)據(jù)平臺和數(shù)據(jù)服務(wù)體系,因此,數(shù)據(jù)智能平臺的建設(shè)的核心目的是服務(wù)于企業(yè)的整體戰(zhàn)略目標和業(yè)務(wù)目標。

        同時,數(shù)據(jù)智能平臺的建設(shè)不僅僅涉及技術(shù)架構(gòu),還會涉及企業(yè)的業(yè)務(wù)模式和組織架構(gòu),因此企業(yè)應(yīng)當以頂層戰(zhàn)略為起點,根據(jù)業(yè)務(wù)目標規(guī)劃數(shù)據(jù)智能平臺的的建設(shè)藍圖與路徑。

        此外,傳統(tǒng)企業(yè)的部門墻問題明顯,要實現(xiàn)各部門間的溝通協(xié)作,共建數(shù)據(jù)智能平臺,需要企業(yè)決策層在組織架構(gòu)和資源方面給予統(tǒng)一的調(diào)配和支持。

        ?2

        ?應(yīng)用場景規(guī)劃

        數(shù)據(jù)智能平臺的價值最終需要通過業(yè)務(wù)場景中的數(shù)據(jù)應(yīng)用來體現(xiàn),因此,平臺建設(shè)必須應(yīng)用場景規(guī)劃先行,數(shù)據(jù)智能平臺應(yīng)用場景規(guī)劃需要考慮以下關(guān)鍵因素:

        評估企業(yè)業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀。從具體的業(yè)務(wù)需求場景厘清相關(guān)的業(yè)務(wù)線、相關(guān)崗位和業(yè)務(wù)流程,梳理其中的業(yè)務(wù)需求。同時,對企業(yè)的數(shù)據(jù)資產(chǎn)進行評估,厘清企業(yè)有哪些數(shù)據(jù)、需要補充哪些數(shù)據(jù)等。

        明確場景實現(xiàn)優(yōu)先級。企業(yè)需要基于企業(yè)戰(zhàn)略與業(yè)務(wù)目標,可實現(xiàn)的業(yè)務(wù)價值、數(shù)據(jù)應(yīng)用的實現(xiàn)成本、數(shù)據(jù)應(yīng)用的可行性等方面進行評估,確定哪些優(yōu)先級和緊急度比較高的場景可以應(yīng)用數(shù)據(jù)平臺解決業(yè)務(wù)問題。

        調(diào)研和參考外部案例。企業(yè)在建設(shè)數(shù)據(jù)平臺前應(yīng)當盡可能多地進行相關(guān)調(diào)研,并參考同行實踐案例,總結(jié)相關(guān)經(jīng)驗。同時,可以借助有成熟經(jīng)驗的數(shù)據(jù)平臺建設(shè)廠商幫助企業(yè)解決相關(guān)問題。

        ?3

        ? 基礎(chǔ)架構(gòu)設(shè)計

        好的基礎(chǔ)架構(gòu)設(shè)計能夠讓項目快速落地,并支持在現(xiàn)有系統(tǒng)上快速開發(fā)新功能、引入新數(shù)據(jù),而一旦選擇某個技術(shù)架構(gòu)并開始實施,后面出現(xiàn)問題再來修改的成本很高。構(gòu)建新一代的數(shù)據(jù)智能平臺需要在基礎(chǔ)架構(gòu)設(shè)計上考慮以下要點:

        1)引入云原生架構(gòu),以便快速開發(fā)、測試、上線和迭代數(shù)據(jù)應(yīng)用,同時滿足在工具集成、系統(tǒng)運維、以及存儲和計算資源上的各種敏捷性要求。

        2)應(yīng)用多種數(shù)據(jù)處理引擎應(yīng)對多樣化的數(shù)據(jù)分析場景需求,重點是為平臺構(gòu)建智能化和實時化的數(shù)據(jù)處理能力。

        3)對數(shù)據(jù)和數(shù)據(jù)應(yīng)用資產(chǎn)進行統(tǒng)一的管理,避免數(shù)據(jù)資產(chǎn)不明確、使用復(fù)雜、效益低下等問題,方便數(shù)據(jù)資產(chǎn)的使用、共享和復(fù)用。

        ?4

        ?數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計

        為了保證用戶能夠在數(shù)據(jù)平臺中快速找到自己所需的數(shù)據(jù),企業(yè)需要對數(shù)據(jù)架構(gòu),即數(shù)據(jù)的組織方式,以及數(shù)據(jù)規(guī)范,即數(shù)據(jù)平臺中輸入和輸出的數(shù)據(jù)符合規(guī)范,進行合理地設(shè)計。

        1)企業(yè)需要根據(jù)業(yè)務(wù)目標及業(yè)務(wù)流程設(shè)計平臺的數(shù)據(jù)架構(gòu),包括平臺提供的明細數(shù)據(jù)、匯總數(shù)據(jù)、數(shù)據(jù)分析結(jié)果、數(shù)據(jù)服務(wù)等。

        2)對數(shù)據(jù)平臺的輸入數(shù)據(jù)和輸出數(shù)據(jù)進行統(tǒng)一規(guī)范,如在所有業(yè)務(wù)系統(tǒng)中使用統(tǒng)一的全局ID,用原子指標、統(tǒng)計顆粒度、業(yè)務(wù)限定等維度來派生指標名稱,構(gòu)建指標體系。

        ?5

        ? 組織與人員規(guī)劃

        數(shù)據(jù)智能平臺的能力與業(yè)務(wù)高度相關(guān),因為平臺的搭建需要IT部門、數(shù)據(jù)部門、以及各業(yè)務(wù)部門溝通協(xié)調(diào),對人員進行統(tǒng)籌安排。根據(jù)企業(yè)數(shù)據(jù)能力現(xiàn)狀,在集中式和去中心化兩種人員模式中選其一。

        2378eef07b44875c5048ed148647e6d2.webp

        圖 6??數(shù)據(jù)智能平臺建設(shè)推進方式

        1)集中式模式:組建一個專門的數(shù)據(jù)智能平臺團隊,由該團隊負責所有數(shù)據(jù)能力的規(guī)劃和開發(fā)。該模式好處在于數(shù)據(jù)能力的規(guī)劃和實現(xiàn)比較直接,能夠快速落地,難點在于需要團隊理解業(yè)務(wù)。該模式適合公司業(yè)務(wù)體系相對簡單,且軟件在企業(yè)內(nèi)部只是輔助工具的傳統(tǒng)型企業(yè)。

        2)去中心化模式:由傳統(tǒng)的數(shù)據(jù)平臺團隊搭建底層的平臺,各業(yè)務(wù)部門在平臺上開發(fā)和使用所需的數(shù)據(jù)應(yīng)用。該模式好處在于業(yè)務(wù)部門對業(yè)務(wù)最理解,能夠開發(fā)出最滿足業(yè)務(wù)需求的數(shù)據(jù)應(yīng)用,且后續(xù)迭代也更方便,難點在于需要處理好部門分工和協(xié)調(diào)的問題。該模式適合業(yè)務(wù)線龐雜,業(yè)務(wù)定制化需求較多的大型企業(yè)。

        f4b0ceda82d3dff8de0ec64a7fbb1f56.webp


        edc4538aecf3d9d07b40743a29b7e007.webp

        178f8ec946253a52406462a001b5f9b6.webp

        77925e5d9463fe4ce2845d5ba657bc09.webp

        7b90b7fd8faa5acda1de15e6ed3f51a5.webp

        4c82f52f41b7157162a4364d6b079a1e.webp

        77c94e9796d07f8bea3ec0251aff9026.webp

        7581d8b9cf2d8b68098256ab73eb1311.webp

        589c82e2697241263876fe4d12dcd18d.webp

        02bd30744f2d3ec2b09f4de883c289dc.webp

        2865a84b027752b4b90365a83dc0a093.webp

        840f408c0627f411363e5c70cac2f521.webp

        0a42901b4f57f780c8791a50239e251a.webp

        b2973f3e3268434b4f865954b5787795.webp

        1ad8092c235fba0fafe2d6fad26ec1d1.webp

        7be845137adaf2772fcccacd99d7e2df.webp

        41030584cb07fa6982a17cc957c19a49.webp

        3318882bd1481a76c7dba15b59a48c39.webp

        8b7d5d41a5a2a037ad9aaddb517dcf1a.webp

        66ff31838d6af8e69ff33106392f912f.webp

        91a06338b2ef339e077d05a892833ff9.webp

        35862733d7b45137b15e2bc26019f92d.webp

        07497b26158a6caa7e53bea329233656.webp

        8e3cbd9ea7be532de94a3d90a2ae5600.webp

        2600a424c89a4b5323e4f1300b85f4c9.webp

        1d587d1b0131dd2717452102668ba726.webp

        9ae2f94ef2760c2c3894391e4c9e73ad.webp

        2dc28b49c732e50f33348f357d173164.webp

        8df5d30ea40c53ffe8a0c42f5ecaf33e.webp

        7f66ae080a25a23a6f8621c2f31a581a.webp

        b4ddf5c16f82f250e33fcc739463c02c.webp

        bd2a258a339ee3d1258ca3d2f41e8d08.webp

        48b5f7ec8dc9741f8a8c7781e8abdc23.webp

        4a70794d5fa7976e133e0695b56da1d3.webp

        c3d033e31886860983c59b8b62fb3a27.webp

        278b880aeacf41f450681460169c2d9e.webp

        4c5e069055306fc69eae342d9ab36604.webp

        4d309bb74e7d01df46f448e39e82847a.webp

        d1b2f1b88e244de6fb4b7981e36c1cd4.webp

        4aa850b98c6306f2229a5b3ab13eb99e.webp

        76a4fbf31c97467d7d3ac4552182b052.webp

        68b7397039dbdeab83e87d00efcf845c.webp

        ced02f9d9ee2af9f98ddfca61317c5bc.webp

        8fb9a6d10011b6eec05b0d97009f6a75.webp

        1115e274046979b5096794a2b98fa0fc.webp

        3f8970017b077f6803106769782e5d50.webp

        09007147ec224f8801e7a8ff64b0cbe6.webp

        d27b02a6ce077d5b05571ee3be8056d3.webp

        推薦閱讀:

        世界的真實格局分析,地球人類社會底層運行原理

        不是你需要中臺,而是一名合格的架構(gòu)師(附各大廠中臺建設(shè)PPT)

        企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案

        論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么,如何轉(zhuǎn)?

        企業(yè)10大管理流程圖,數(shù)字化轉(zhuǎn)型從業(yè)者必備!

        【中臺實踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf

        華為的數(shù)字化轉(zhuǎn)型方法論

        華為如何實施數(shù)字化轉(zhuǎn)型(附PPT)

        超詳細280頁Docker實戰(zhàn)文檔!開放下載

        華為大數(shù)據(jù)解決方案(PPT)

        瀏覽 67
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
          
          

            1. 啊灬啊灬啊灬啊灬高潮在线看 | 肏美女 | 成人av视屏 | 色久婷婷综合在线亚洲 | 国产AV天天|