關(guān)于數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)平臺和數(shù)據(jù)中臺的概念和區(qū)別

我們談論數(shù)據(jù)中臺之前，我們也聽到過數(shù)據(jù)平臺、數(shù)據(jù)倉庫、數(shù)據(jù)湖的相關(guān)概念，它們都與數(shù)據(jù)有關(guān)系，但他們和數(shù)據(jù)中臺有什么樣的區(qū)別，下面我們將分別介紹數(shù)據(jù)平臺數(shù)據(jù)倉庫數(shù)據(jù)湖和數(shù)據(jù)中臺。

相關(guān)概念

數(shù)據(jù)倉庫

數(shù)據(jù)倉庫(Data Warehouse)，也稱為企業(yè)數(shù)據(jù)倉庫，它是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合存儲系統(tǒng)，它將來自不同來源的結(jié)構(gòu)化數(shù)據(jù)聚合起來，用于業(yè)務智能領域的比較和分析，數(shù)據(jù)倉庫是包含多種數(shù)據(jù)的存儲庫，并且是高度建模的。

數(shù)據(jù)倉庫邏輯架構(gòu)

數(shù)據(jù)倉庫系統(tǒng)的作用能實現(xiàn)跨業(yè)務條線、跨系統(tǒng)的數(shù)據(jù)整合，為管理分析和業(yè)務決策提供統(tǒng)一的數(shù)據(jù)支持。數(shù)據(jù)倉庫能夠從根本上幫助你把公司的運營數(shù)據(jù)轉(zhuǎn)化成為高價值的可以獲取的信息（或知識），并且在恰當?shù)臅r間通過恰當?shù)姆绞桨亚‘數(shù)男畔鬟f給恰當?shù)娜?/span>。

數(shù)據(jù)倉庫的作用主要體現(xiàn)在企業(yè)決策、分析、計劃和響應4個方面：

數(shù)據(jù)倉庫針對實時數(shù)據(jù)處理和非結(jié)構(gòu)化數(shù)據(jù)處理能力較弱，以及在業(yè)務預警預測等方面應用有一定的限制。

數(shù)據(jù)湖

數(shù)據(jù)湖(Data Lake)是Pentaho公司CTO James Dixon提出來的一種數(shù)據(jù)存儲理念—即在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據(jù)的方法。數(shù)據(jù)湖作為一個集中的存儲庫，可以在其中存儲任意規(guī)模的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)湖中，可以存儲不需要對其進行結(jié)構(gòu)化的數(shù)據(jù)，這樣就可以運行不同類型的分析。下面的定義是維基百科所給出的“數(shù)據(jù)湖”定義。

數(shù)據(jù)湖（Data Lake）是一個存儲企業(yè)的各種各樣原始數(shù)據(jù)的大型倉庫，其中的數(shù)據(jù)可供存取、處理、分析及傳輸。數(shù)據(jù)湖是以其自然格式存儲的數(shù)據(jù)的系統(tǒng)或存儲庫，通常是對象Blob或文件。數(shù)據(jù)湖通常是企業(yè)所有數(shù)據(jù)的單一存儲，包括源系統(tǒng)數(shù)據(jù)的原始副本，以及用于報告、可視化、分析和機器學習等任務的轉(zhuǎn)換數(shù)據(jù)。數(shù)據(jù)湖可以包括來自關(guān)系數(shù)據(jù)庫（行和列）的結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)（CSV，日志，XML，JSON），非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進制數(shù)據(jù)（圖像，音頻，視頻）。[來源：維基百科]

以下是關(guān)于數(shù)據(jù)湖的示意圖（圖片來源于網(wǎng)絡）：

數(shù)據(jù)湖能夠幫助企業(yè)實現(xiàn)數(shù)據(jù)的集中式管理等多種能力；數(shù)據(jù)湖融合了先進的數(shù)據(jù)科學、機器學習和人工智能技術(shù)，幫助企業(yè)構(gòu)建更加優(yōu)化的數(shù)據(jù)運營模型，為企業(yè)提供預測分析、推薦模型等能力，這些模型能夠刺激企業(yè)能力的持續(xù)增長，不斷賦能于企業(yè)增長。數(shù)據(jù)湖能從以下方面幫助到企業(yè)：

• 實現(xiàn)數(shù)據(jù)治理；
• 通過應用機器學習與人工智能技術(shù)實現(xiàn)商業(yè)智能；
• 預測分析和模型推薦，例如：領域特定的推薦引擎 ；
• 信息追蹤與一致性保障；
• 基于歷史數(shù)據(jù)分析生成新的數(shù)據(jù)維度，挖掘數(shù)據(jù)深度價值；
• 提供集中式存儲的企業(yè)數(shù)據(jù)中心，并提供基于數(shù)據(jù)傳輸優(yōu)化的數(shù)據(jù)服務；
• 協(xié)助企業(yè)實現(xiàn)靈活的增長決策。
  
  

數(shù)據(jù)平臺

數(shù)據(jù)平臺是在大數(shù)據(jù)基礎上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎平臺，為業(yè)務提供服務的方式主要是直接提供數(shù)據(jù)集。

數(shù)據(jù)平臺的出現(xiàn)是為了解決數(shù)據(jù)倉庫不能處理非結(jié)構(gòu)化數(shù)據(jù)和報表開發(fā)周期長的問題，所以先撇開業(yè)務需求、把企業(yè)所有的數(shù)據(jù)都抽取出來放到一起，成為一個大的數(shù)據(jù)集，其中有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。當業(yè)務方有需求的時候，再把他們需要的若干個小數(shù)據(jù)集單獨提取出來，以數(shù)據(jù)集的形式提供給數(shù)據(jù)應用。

大數(shù)據(jù)時代，數(shù)據(jù)平臺一般被稱之為大數(shù)據(jù)平臺。狹義上的大數(shù)據(jù)平臺和傳統(tǒng)數(shù)據(jù)平臺的功能一致，只是技術(shù)架構(gòu)和數(shù)據(jù)容量方面的不同，但廣義的大數(shù)據(jù)平臺通常被賦予更多的使命，它不僅存儲多樣化的數(shù)據(jù)類型，還具有報表分析等數(shù)據(jù)倉庫的功能，以及其他數(shù)據(jù)分析挖掘方面的高級功能。

數(shù)據(jù)中臺

網(wǎng)易數(shù)據(jù)中臺架構(gòu)圖

阿里數(shù)據(jù)中臺邏輯架構(gòu)圖

數(shù)據(jù)中臺通過對企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析和應用，使數(shù)據(jù)對內(nèi)優(yōu)化管理提高業(yè)務價值，對外進行數(shù)據(jù)合作讓業(yè)務價值得到釋放，使之成為企業(yè)數(shù)據(jù)資產(chǎn)管理中樞。數(shù)據(jù)中臺建立后，會形成數(shù)據(jù)API服務，為企業(yè)和客戶提供高效各種數(shù)據(jù)服務。

數(shù)據(jù)中臺對一個企業(yè)的數(shù)字化轉(zhuǎn)型和可持續(xù)發(fā)展起著至關(guān)重要的作用。數(shù)據(jù)中臺為解耦而生，企業(yè)建設數(shù)據(jù)中臺的最大意義就是應用與數(shù)據(jù)之間的解藕，這樣企業(yè)就可以不受限制地按需構(gòu)建滿足業(yè)務需求的數(shù)據(jù)應用。

• 構(gòu)建了開放、靈活、可擴展的企業(yè)級統(tǒng)一數(shù)據(jù)管理和分析平臺，將企業(yè)內(nèi)、外部數(shù)據(jù)隨需關(guān)聯(lián)，打破了數(shù)據(jù)的系統(tǒng)界限。
• 利用大數(shù)據(jù)智能分析、數(shù)據(jù)可視化等技術(shù)，實現(xiàn)了數(shù)據(jù)共享、日常報表自動生成、快速和智能分析，滿足企業(yè)各級部門之間的數(shù)據(jù)分析應用需求。
• 深度挖掘數(shù)據(jù)價值，助力企業(yè)數(shù)字化轉(zhuǎn)型落地。實現(xiàn)了數(shù)據(jù)的目錄、模型、標準、認責、安全、可視化、共享等管理，實現(xiàn)數(shù)據(jù)集中存儲、處理、分類與管理，建立大數(shù)據(jù)分析工具庫、算法服務庫，實現(xiàn)報表生成自動化、數(shù)據(jù)分析敏捷化、數(shù)據(jù)挖掘可視化，實現(xiàn)數(shù)據(jù)質(zhì)量評估、落地管理流程。

數(shù)據(jù)倉庫 VS 數(shù)據(jù)湖

相較而言，數(shù)據(jù)湖是較新的技術(shù)，擁有不斷演變的架構(gòu)。數(shù)據(jù)湖存儲任何形式（包括結(jié)構(gòu)化和非結(jié)構(gòu)化）和任何格式（包括文本、音頻、視頻和圖像）的原始數(shù)據(jù)。根據(jù)定義，數(shù)據(jù)湖不會接受數(shù)據(jù)治理，但專家們一致認為良好的數(shù)據(jù)管理對預防數(shù)據(jù)湖轉(zhuǎn)變?yōu)閿?shù)據(jù)沼澤不可或缺。數(shù)據(jù)湖在數(shù)據(jù)讀取期間創(chuàng)建模式。與數(shù)據(jù)倉庫相比，數(shù)據(jù)湖缺乏結(jié)構(gòu)性，而且更靈活，并且提供了更高的敏捷性。值得一提的是，數(shù)據(jù)湖非常適合使用機器學習和深度學習來執(zhí)行各種任務，比如數(shù)據(jù)挖掘和數(shù)據(jù)分析，以及提取非結(jié)構(gòu)化數(shù)據(jù)等。

數(shù)據(jù)倉庫 VS 數(shù)據(jù)平臺

由于數(shù)據(jù)倉庫具有歷史性的特性，其中存儲的數(shù)據(jù)大多是結(jié)構(gòu)化數(shù)據(jù)；而數(shù)據(jù)平臺的出現(xiàn)解決了數(shù)據(jù)倉庫不能處理非結(jié)構(gòu)化數(shù)據(jù)和報表開發(fā)周期長的問題。
通過以上的論述，我們發(fā)現(xiàn)數(shù)據(jù)平臺和數(shù)據(jù)湖好像存在諸多相似性，這二者之間的區(qū)別，從個人角度理解上分析應該是數(shù)據(jù)加工的角度不同，數(shù)據(jù)湖更著重于對原始數(shù)據(jù)的存儲，而數(shù)據(jù)平臺則同數(shù)據(jù)倉庫一樣，需對原始數(shù)據(jù)進行清洗、轉(zhuǎn)換等數(shù)據(jù)處理后按照統(tǒng)一的標準規(guī)范進行存儲。

數(shù)據(jù)倉庫 VS 數(shù)據(jù)中臺

數(shù)據(jù)倉庫和傳統(tǒng)的數(shù)據(jù)平臺，其出發(fā)點為一個支撐性的技術(shù)系統(tǒng)，即一定要先考慮我具有什么數(shù)據(jù)，然后我才能干什么，因此特別強調(diào)數(shù)據(jù)質(zhì)量和元數(shù)據(jù)管理；而數(shù)據(jù)中臺的第一出發(fā)點不是數(shù)據(jù)而是業(yè)務，一開始不用看你系統(tǒng)里面有什么數(shù)據(jù)，而是去解決你的業(yè)務問題需要什么樣的數(shù)據(jù)服務。

在具體的技術(shù)處理環(huán)節(jié)，二者也有明顯不同，數(shù)據(jù)的a預處理流程正在從傳統(tǒng)的ETL結(jié)構(gòu)向ELT結(jié)構(gòu)轉(zhuǎn)變。傳統(tǒng)的數(shù)據(jù)倉庫集成處理架構(gòu)是ETL結(jié)構(gòu)，這是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，即用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。而大數(shù)據(jù)背景下的架構(gòu)體系是ELT結(jié)構(gòu)，其根據(jù)上層的應用需求，隨時從數(shù)據(jù)中臺中抽取想要的原始數(shù)據(jù)進行建模分析。

總結(jié)

根據(jù)以上數(shù)據(jù)平臺、數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)中臺的概念論述和對比，我們進行如下總結(jié)：

• 數(shù)據(jù)中臺、數(shù)據(jù)倉庫和數(shù)據(jù)湖沒有直接的關(guān)系；
• 數(shù)據(jù)中臺、數(shù)據(jù)平臺、數(shù)據(jù)倉庫和數(shù)據(jù)湖在某個維度上為業(yè)務產(chǎn)生價值的形式有不同的側(cè)重；
• 數(shù)據(jù)中臺是企業(yè)級的邏輯概念，體現(xiàn)企業(yè)數(shù)據(jù)向業(yè)務價值轉(zhuǎn)化的能力，為業(yè)務提供服務的主要方式是數(shù)據(jù) API；
• 數(shù)據(jù)倉庫是一個相對具體的功能概念，是存儲和管理一個或多個主題數(shù)據(jù)的集合，為業(yè)務提供服務的方式主要是分析報表；
• 數(shù)據(jù)平臺是在大數(shù)據(jù)基礎上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎平臺，為業(yè)務提供服務的方式主要是直接提供數(shù)據(jù)集；
  數(shù)據(jù)中臺距離業(yè)務更近，能夠更快速的響應業(yè)務和應用開發(fā)需求，從而為業(yè)務提供速度更快的服務；
  數(shù)據(jù)倉庫是為了支持管理決策分析，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務化之后提供給業(yè)務系統(tǒng)，不僅限于分析型場景，也適用于交易型場景；
  數(shù)據(jù)中臺可以建立在數(shù)據(jù)倉庫和數(shù)據(jù)平臺之上，是加速企業(yè)從數(shù)據(jù)到業(yè)務價值的過程的中間層。