PureFlash分布式存儲系統(tǒng)

PureFlash是一個開源的分布式存儲系統(tǒng)，項目起始于2016年。

一、PureFlash整體介紹
PureFlash是一個開源的ServerSAN實現(xiàn)，也就是通過大量的通用服務(wù)器，加上PureFlash的軟件系統(tǒng)，構(gòu)造出一套能滿足企業(yè)各種業(yè)務(wù)需求的分布式SAN存儲。

PureFlash是為全閃存時代而設(shè)計的存儲系統(tǒng)。當(dāng)前SSD盤的應(yīng)用越來越廣泛，大有全面取代HDD的趨勢。SSD與HDD的顯著區(qū)別就是性能差異，這也是用戶體驗最直接的差異，而且隨著NVMe接口的普及，二者差異越來大，這種近百倍的量變差異足以帶來架構(gòu)設(shè)計上的質(zhì)變。舉個例子，原來HDD的性能很低，遠遠低于CPU、網(wǎng)絡(luò)的性能能力，因此系統(tǒng)設(shè)計的準(zhǔn)則是追求HDD的性能最大化，為達到這個目標(biāo)可以以消耗CPU等資源為代價。而到了NVMe時代，性能關(guān)系已經(jīng)完全顛倒了，盤不再是瓶頸，反而CPU、網(wǎng)絡(luò)成為系統(tǒng)的瓶頸。那種消耗CPU以優(yōu)化IO的方法只能適得其反。

因此我們需要一套全新的存儲系統(tǒng)架構(gòu)，以充分發(fā)揮SSD的能力，提高系統(tǒng)的效率。PureFlash的設(shè)計思想以簡化IO stack, 數(shù)據(jù)通路與控制通路分離，快速路徑優(yōu)先為基本原則，確保高性能與高可靠性，提供云計算時代塊存儲核心能力。

PureFlash的思想來自于全硬件加速閃存陣列S5, 因此雖然PureFlash本身是純軟件實現(xiàn)，但其存儲協(xié)議對硬件加速是高度友好的。可以認(rèn)為PureFlash的協(xié)議就是NVMe 協(xié)議加上云存儲特性增強，包括快照、副本、shard、集群熱升級等能力。

二、功能特性
1. 單副本與多副本任意選擇，允許每個volume使用不同的副本數(shù)，提供不同的可靠性等級。

2. 精簡置備，即thin provision。能夠?qū)崿F(xiàn)云計算時代需要的存儲虛擬化，存儲超賣等關(guān)鍵特性。而且可以提供超過單節(jié)點容量能力的超大容量Volume。

3. 瞬時快照能力，PureFlash采用inplace 快照技術(shù)，能夠瞬時完成快照且不占用額外的存儲空間。

4. Scale out能力，可以隨時通過增加節(jié)點的方式擴展系統(tǒng)的總體容量，即便是運行期間也可以進行擴容。

5. 強一致性，使用強一致性，確保企業(yè)數(shù)據(jù)正確性、確保核心業(yè)務(wù)正確運行。

6. 允許共享訪問，同一個Volume允許從多個Client同時訪問，可以用于支撐Oracle RAC類共享盤業(yè)務(wù)。

7. 故障冗余，容忍各種單點故障，包括網(wǎng)絡(luò)故障，網(wǎng)卡故障，SSD故障，節(jié)點整機故障。

8. 可控數(shù)據(jù)恢復(fù)，當(dāng)硬件故障恢復(fù)后，可以對數(shù)據(jù)進行恢復(fù)，并且可以控制恢復(fù)的時間與資源占用情況。

9. 可控數(shù)據(jù)均衡，系統(tǒng)長時間使用后可能數(shù)據(jù)分布不均衡，可控均衡功能可以在節(jié)點間均衡數(shù)據(jù)分布。并且均衡的時間與資源占用率都可以控制，以減少對正常業(yè)務(wù)的沖擊。

10. 多網(wǎng)卡與多路徑支持，每個節(jié)點可以有多個網(wǎng)卡，這些網(wǎng)卡都處于活動狀態(tài)以提供更高的IO吞吐能力，并且在一個網(wǎng)卡故障時可以自動把IO遷移到其他網(wǎng)卡而不影響客戶端訪問。

11. 簡化的io stack，PureFlash以提供塊存儲為目標(biāo)，為將SSD性能毫無損失的發(fā)揮出來，避免使用任何多余的中間IO層級，因此既沒有使用本地文件系統(tǒng)，也沒有使用K-V系統(tǒng)進行本地數(shù)據(jù)管理。使用本地文件系統(tǒng)或者KV做本地數(shù)據(jù)管理在分布式存儲系統(tǒng)中很常見，但同時也帶來了性能損失，系統(tǒng)復(fù)雜度上升，bug概率增加。PureFlash則完全避免了這一點。

12. 擴容穩(wěn)定性，PureFlash系統(tǒng)使用非hash設(shè)計，新節(jié)點加入集群后，不需要均衡就可以立即開始承載業(yè)務(wù)，保證既有業(yè)務(wù)穩(wěn)定運行，避免均衡帶來的沖擊。

13. 最小資源消耗，適合超融合部署。PureFlash設(shè)計中沒有使用SPDK這樣的IO接口。SPDK雖然能帶來一些IO性能收益，但是付出的代價是CPU資源的大量浪費，在沒有IO時候也要處于忙等待狀態(tài)中。這對超融合系統(tǒng)是致命的，存儲任務(wù)一直占用CPU資源，而不能出讓給計算任務(wù)使用，背離超融合的基本理念。PureFlash只消耗與IO能力成比例的CPU、內(nèi)存、網(wǎng)絡(luò)資源，并且可以通過參數(shù)配置最大資源消耗量，因而十分適合超融合系統(tǒng)。