10 張圖解分布式架構(gòu)演進(jìn)
點擊藍(lán)色“泥瓦匠BYSocket”，關(guān)注我喲
加個“星標(biāo)”，不忘簽到哦
一、什么是分布式架構(gòu)
二、分布式架構(gòu)的應(yīng)用
三、資源推薦
四、分布式架構(gòu)的演進(jìn)
五、分布式服務(wù)應(yīng)用會面臨哪些問題？
一、什么是分布式架構(gòu)
分布式系統(tǒng)（distributed system） 是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。
內(nèi)聚性：是指每一個數(shù)據(jù)庫分布節(jié)點高度自治，有本地的數(shù)據(jù)庫管理系統(tǒng)。
透明性：是指每一個數(shù)據(jù)庫分布節(jié)點對用戶的應(yīng)用來說都是透明的，看不出是本地還是遠(yuǎn)程。
在分布式數(shù)據(jù)系統(tǒng)中，用戶感覺不數(shù)據(jù)是分布的，即用戶不須知道關(guān)系是否分割，有無副本，數(shù)據(jù)存在于那個站點以及事物在哪個站點上執(zhí)行。
簡單來說：在一個分布式系統(tǒng)中，一組獨立的計算機展現(xiàn)給用戶的是一個統(tǒng)一的整體，就好像是一個系統(tǒng)似的。
分布式系統(tǒng)作為一個整體對用戶提供服務(wù)，而整個系統(tǒng)的內(nèi)部的協(xié)作對用戶來說是透明的，用戶就像是指使用一個mysql 一樣。
如：分布式mysql中間件 mycat ,來處理大并發(fā)大數(shù)據(jù)量的構(gòu)架。
二、分布式架構(gòu)的應(yīng)用
1、分布式文件系統(tǒng)
例如：出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等；
2、分布式緩存系統(tǒng)
例如：memcache , hbase, mongdb 等；
3、分布式數(shù)據(jù)庫
例如：mysql, mariadb, postgreSql 等；
4、分布式webService
5、分布式計算
以分布式mysql數(shù)據(jù)庫中間件mycat 為例：
MySQL 在現(xiàn)在電商以及互聯(lián)網(wǎng)公司的應(yīng)用非常多，一個是因為他的免費開源，另外一個原因是因為分布式系統(tǒng)的水平可擴(kuò)展性，隨著移動互聯(lián)網(wǎng)用戶的暴增，互聯(lián)網(wǎng)公司，像淘寶，天貓，唯品會等電商都采用分布式系統(tǒng)應(yīng)對用戶的高并發(fā)量以及大數(shù)據(jù)量的存儲。而在Mycat的商業(yè)案例中，有對中國移動的賬單結(jié)算項目中，應(yīng)用實時處理高峰期每天2億的數(shù)據(jù)量，在對物聯(lián)網(wǎng)的項目中，實現(xiàn)處理高達(dá)26億的數(shù)據(jù)量，并提供實時查詢的接口。
通過對MyCat的學(xué)習(xí)，加深分布式系統(tǒng)架構(gòu)的理解，以及分布式相關(guān)的技術(shù)，分布式一致性ZooKeeper服務(wù), 高可用HAProxy/keepalived等相關(guān)應(yīng)用。
集群與分布式；
負(fù)載均衡；
分布式相關(guān)的高可用、容災(zāi)等名詞解釋；
Mycat中間件學(xué)習(xí)
三、資源推薦
1、大型分布式網(wǎng)站架構(gòu)設(shè)計與實踐：http://item.jd.com/11529266.html
2、大型網(wǎng)站技術(shù)架構(gòu)：核心原理與案例分析：http://item.jd.com/11322972.html
3、大型網(wǎng)站系統(tǒng)與Java中間件實踐：http://item.jd.com/11449803.html
4、分布式Java應(yīng)用：基礎(chǔ)與實踐：http://item.jd.com/10144196.html
四、分布式架構(gòu)的演進(jìn)
1、初始階段架構(gòu)
特征：應(yīng)用程序，數(shù)據(jù)庫，文件等所有資源都放在一臺服務(wù)器上。
2、應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)以及文件服務(wù)分離
說明：好景不長，發(fā)現(xiàn)隨著系統(tǒng)訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一臺webserver。
特征：應(yīng)用程序、數(shù)據(jù)庫、文件分別部署在獨立的資源上。
3、使用緩存改善性能
說明：系統(tǒng)訪問特點遵循二八定律，即80%的業(yè)務(wù)訪問集中在20%的數(shù)據(jù)上。
緩存分為本地緩存和遠(yuǎn)程分布式緩存，本地緩存訪問速度更快但緩存數(shù)據(jù)量有限，同時存在與應(yīng)用程序爭用內(nèi)存的情況。
特征：數(shù)據(jù)庫中訪問較集中的一小部分?jǐn)?shù)據(jù)存儲在緩存服務(wù)器中，減少數(shù)據(jù)庫的訪問次數(shù)，降低數(shù)據(jù)庫的訪問壓力。
4、使用“應(yīng)用服務(wù)器”集群
說明：在做完分庫分表這些工作后，數(shù)據(jù)庫上的壓力已經(jīng)降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了。
突然有一天，發(fā)現(xiàn)系統(tǒng)的訪問又開始有變慢的趨勢了，這個時候首先查看數(shù)據(jù)庫，壓力一切正常，之后查看webserver，發(fā)現(xiàn)apache阻塞了很多的請求，而應(yīng)用服務(wù)器對每個請求也是比較快的，看來是請求數(shù)太高導(dǎo)致需要排隊等待，響應(yīng)速度變慢。
特征：多臺服務(wù)器通過負(fù)載均衡同時向外部提供服務(wù)，解決單臺服務(wù)器處理能力和存儲空間上限的問題。
描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個系統(tǒng)的瓶頸。
5、數(shù)據(jù)庫讀寫分離
說明：享受了一段時間的系統(tǒng)訪問量高速增長的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經(jīng)過查找，發(fā)現(xiàn)數(shù)據(jù)庫寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫連接的資源競爭非常激烈，導(dǎo)致了系統(tǒng)變慢。
特征：多臺服務(wù)器通過負(fù)載均衡同時向外部提供服務(wù)，解決單臺服務(wù)器處理能力和存儲空間上限的問題。
描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，使得服務(wù)器的負(fù)載壓力不在成為整個系統(tǒng)的瓶頸。
6、反向代理和CDN加速
特征：采用CDN和反向代理加快系統(tǒng)的訪問速度。
描述：為了應(yīng)付復(fù)雜的網(wǎng)絡(luò)環(huán)境和不同地區(qū)用戶的訪問，通過CDN和反向代理加快用戶訪問的速度，同時減輕后端服務(wù)器的負(fù)載壓力。CDN與反向代理的基本原理都是緩存。
7、“分布式文件”系統(tǒng) 和 “分布式數(shù)據(jù)庫”
說明：隨著系統(tǒng)的不斷運行，數(shù)據(jù)量開始大幅度增長，這個時候發(fā)現(xiàn)分庫后查詢?nèi)匀粫行┞?，于是按照分庫的思想開始做分表的工作
特征：數(shù)據(jù)庫采用分布式數(shù)據(jù)庫，文件系統(tǒng)采用分布式文件系統(tǒng)。
描述：任何強大的單一服務(wù)器都滿足不了大型系統(tǒng)持續(xù)增長的業(yè)務(wù)需求，數(shù)據(jù)庫讀寫分離隨著業(yè)務(wù)的發(fā)展最終也將無法滿足需求，需要使用分布式數(shù)據(jù)庫及分布式文件系統(tǒng)來支撐。
分布式數(shù)據(jù)庫是系統(tǒng)數(shù)據(jù)庫拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用，更常用的數(shù)據(jù)庫拆分手段是業(yè)務(wù)分庫，將不同的業(yè)務(wù)數(shù)據(jù)庫部署在不同的物理服務(wù)器上。
8、使用NoSQL和搜索引擎
特征：系統(tǒng)引入NoSQL數(shù)據(jù)庫及搜索引擎。
描述：隨著業(yè)務(wù)越來越復(fù)雜，對數(shù)據(jù)存儲和檢索的需求也越來越復(fù)雜，系統(tǒng)需要采用一些非關(guān)系型數(shù)據(jù)庫如NoSQL和分?jǐn)?shù)據(jù)庫查詢技術(shù)如搜索引擎。
應(yīng)用服務(wù)器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。
9、業(yè)務(wù)拆分
特征：系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。
描述：為了應(yīng)對日益復(fù)雜的業(yè)務(wù)場景，通常使用分而治之的手段將整個系統(tǒng)業(yè)務(wù)分成不同的產(chǎn)品線，應(yīng)用之間通過超鏈接建立關(guān)系，也可以通過消息隊列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個關(guān)聯(lián)的完整系統(tǒng)。
縱向拆分：將一個大應(yīng)用拆分為多個小應(yīng)用，如果新業(yè)務(wù)較為獨立，那么就直接將其設(shè)計部署為一個獨立的Web應(yīng)用系統(tǒng) 縱向拆分相對較為簡單，通過梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。
橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來，獨立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù) 橫向拆分需要識別可復(fù)用的業(yè)務(wù)，設(shè)計服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。
10、分布式服務(wù)
特征：公共的應(yīng)用模塊被提取出來，部署在分布式服務(wù)器上供應(yīng)用服務(wù)器調(diào)用。
描述：隨著業(yè)務(wù)越拆越小，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級上升，由于所有應(yīng)用要和所有數(shù)據(jù)庫系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫連接資源不足，拒絕服務(wù)。
五、分布式服務(wù)應(yīng)用會面臨哪些問題？
1、當(dāng)服務(wù)越來越多時，服務(wù)URL配置管理變得非常困難，F(xiàn)5硬件負(fù)載均衡器的單點壓力也越來越大。
2、當(dāng)進(jìn)一步發(fā)展，服務(wù)間依賴關(guān)系變得錯蹤復(fù)雜，甚至分不清哪個應(yīng)用要在哪個應(yīng)用之前啟動，架構(gòu)師都不能完整的描述應(yīng)用的架構(gòu)關(guān)系。
3、接著，服務(wù)的調(diào)用量越來越大，服務(wù)的容量問題就暴露出來，這個服務(wù)需要多少機器支撐？什么時候該加機器？
4、服務(wù)多了，溝通成本也開始上升，調(diào)某個服務(wù)失敗該找誰？服務(wù)的參數(shù)都有什么約定？
5、一個服務(wù)有多個業(yè)務(wù)消費者，如何確保服務(wù)質(zhì)量？
6、隨著服務(wù)的不停升級，總有些意想不到的事發(fā)生，比如cache寫錯了導(dǎo)致內(nèi)存溢出，故障不可避免，每次核心服務(wù)一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務(wù)是否可以功能降級？或者資源劣化？
- 推薦閱讀 -
《架構(gòu)師離職后，成為自由開發(fā)者的第 100 天》
下方二維碼關(guān)注我
互聯(lián)網(wǎng)草根，堅持分享技術(shù)、創(chuàng)業(yè)、產(chǎn)品等心得和總結(jié)~
點擊“閱讀原文”，領(lǐng)取 2020 年最新免費技術(shù)資料大全