數(shù)據(jù)百問系列:數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別是什么?
? ???作者：木東居士
? ? ?來源：木東居士
最近群里很多小伙伴都問了數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別是什么，因此將之前寫過的文章給大家再分享一遍。
很多文章再解釋概念的時候，會比較抽象，因為越抽象的文字越不容易被挑戰(zhàn)其中錯誤。我這里為了讓大家容易理解一些，會放棄一些嚴謹性，從更感官地的角度描述個人的理解。
正式開始之前，簡單說一下兩者的區(qū)別：
- 我們現(xiàn)在大部分童鞋說的數(shù)據(jù)庫，一般是指Mysql、SqlServer、Oracle這些數(shù)據(jù)庫軟件，它們的作用是存儲我們的個人信息和一些交易類數(shù)據(jù)。比如你在某團或者某寶里面的個人信息，這些你會做修改，一般存放在業(yè)務(wù)數(shù)據(jù)庫中。
- 數(shù)據(jù)倉庫呢，一般是指一套管理+組織+分析數(shù)據(jù)的方法論，承載數(shù)據(jù)倉庫的軟件，在互聯(lián)網(wǎng)行業(yè)中一般是Hive為主流。它一般存放的是行為類數(shù)據(jù)，比如你點擊一次網(wǎng)頁，這些都會被記錄下來存放在數(shù)據(jù)倉庫中，當(dāng)然個人信息一般也會從業(yè)務(wù)數(shù)據(jù)庫同步一份到數(shù)據(jù)倉庫中。這些數(shù)據(jù)主要用來做分析使用。
好了，有了這些簡單的描述了，大家就可以繼續(xù)往下看了。
0x01 概念上的區(qū)別
數(shù)據(jù)庫，簡而言之可視為電子化的文件柜——存儲電子文件的處所，用戶可以對文件中的數(shù)據(jù)進行新增、截取、更新、刪除等操作?！俣劝倏?/p>
數(shù)據(jù)倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進、監(jiān)視時間、成本、質(zhì)量以及控制?！俣劝倏?/p>
直觀上理解：相同點是兩者都是存儲數(shù)據(jù)。不同點是數(shù)據(jù)庫主要是基本的、日常的事務(wù)處理，例如銀行交易；數(shù)據(jù)倉庫，支持復(fù)雜的分析操作，側(cè)重決策支持。
0x02 舉個例子
舉個最常見的例子，以我們常舉例的電商來講，我們側(cè)重于從沒有數(shù)據(jù)倉庫到有數(shù)據(jù)倉庫的演變階段：
第一階段：無分析需求階段
電商早期，基本不需要太多數(shù)據(jù)分析，先跑起來系統(tǒng)就行，這時候買一套電商系統(tǒng)，搞點服務(wù)器，加一兩個研發(fā)就能跑起來了。這時候?qū)?shù)據(jù)的需求就是只需要有個數(shù)據(jù)庫就行。最多就是看看營業(yè)額就夠，不需要數(shù)據(jù)倉庫。
第二階段：簡單統(tǒng)計需求階段
網(wǎng)站做大后流量來了，客戶和訂單都多起來了，普通查詢已經(jīng)有壓力了，這個時候就需要升級架構(gòu)變成多臺服務(wù)器和多個業(yè)務(wù)數(shù)據(jù)庫（量大+分庫分表），這個階段的業(yè)務(wù)數(shù)字和指標(biāo)還可以勉強從業(yè)務(wù)數(shù)據(jù)庫里查詢。
此時仍不太需數(shù)據(jù)倉庫，數(shù)據(jù)庫勉強夠用，定時從從庫里面統(tǒng)計數(shù)據(jù)就可以。
第三階段：復(fù)雜統(tǒng)計需求階段
隨著業(yè)務(wù)指數(shù)級的增長，數(shù)據(jù)量的會陡增，數(shù)據(jù)來源也越來越多樣，這時已經(jīng)不單單是交易類數(shù)據(jù)了，用戶點擊、和圖片等數(shù)據(jù)都多了起來。
同時公司角色也開始多了起來，開始有了 各種老板，各種運營、市場、產(chǎn)品的同學(xué)，大家需要面臨的問題越來越復(fù)雜，越來越深入，對數(shù)據(jù)的需求也越來越復(fù)雜。而復(fù)雜的分析類計算勢必會對線上的數(shù)據(jù)庫造成影響。
因為，**業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)主要是為了完成交易而設(shè)計的，不是為了而查詢和分析的便利設(shè)計的。**業(yè)務(wù)數(shù)據(jù)庫大多是讀寫優(yōu)化的，即又要讀，也要寫。
因此對于大量數(shù)據(jù)的讀操作和復(fù)雜計算是支持不足。而怎么解決這個問題，此時我們就需要建立一個數(shù)據(jù)倉庫了。
0x03 技術(shù)上的區(qū)別
有了上面的分析，大家可能感覺還是比較虛，那我們舉一些現(xiàn)實工作中遇到的技術(shù)，來看一下數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別：
- 流行的數(shù)據(jù)庫：MySQL、Oracle、SqlServer等
- 流行的數(shù)據(jù)倉庫：Hive、Impala、Greenplum等
劃分并不絕對，比如很多公司也會用Oracle來做數(shù)據(jù)倉庫，但是基本沒有公司用Hive來當(dāng)作業(yè)務(wù)庫來使用。
0x04 模型上的區(qū)別
關(guān)于模型的區(qū)別，我寫過一篇文章專門分析數(shù)據(jù)倉庫和數(shù)據(jù)庫建模的區(qū)別，可以參考。
0xFF 總結(jié)
總結(jié)一下：
- 數(shù)據(jù)庫是面向事務(wù)的設(shè)計，數(shù)據(jù)倉庫是面向主題設(shè)計的。
- 數(shù)據(jù)庫一般服務(wù)于業(yè)務(wù)系統(tǒng)的，數(shù)據(jù)倉庫一般是服務(wù)于分析系統(tǒng)的。
- 數(shù)據(jù)庫一般存儲在線交易數(shù)據(jù)，數(shù)據(jù)倉庫存儲的一般是歷史數(shù)據(jù)。
- 數(shù)據(jù)庫設(shè)計是盡量避免冗余，數(shù)據(jù)倉庫在設(shè)計是有意引入冗余。
- 數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設(shè)計，數(shù)據(jù)倉庫是為分析數(shù)據(jù)而設(shè)計。
當(dāng)然，數(shù)據(jù)倉庫不僅僅指的是一個存儲引擎，而是一套完整的數(shù)據(jù)建設(shè)的方法論，感興趣的同學(xué)請在我的公眾號中閱讀更多的內(nèi)容。
◆?◆?◆ ?◆?◆
長按二維碼關(guān)注我們
數(shù)據(jù)森麟公眾號的交流群已經(jīng)建立，許多小伙伴已經(jīng)加入其中，感謝大家的支持。大家可以在群里交流關(guān)于數(shù)據(jù)分析&數(shù)據(jù)挖掘的相關(guān)內(nèi)容，還沒有加入的小伙伴可以掃描下方管理員二維碼，進群前一定要關(guān)注公眾號奧，關(guān)注后讓管理員幫忙拉進群，期待大家的加入。
管理員二維碼：