企業(yè)數(shù)據(jù)備份規(guī)劃設計

文章來源于:https://www.talkwithtrend.com/Article/256797
當今社會的信息化不斷發(fā)展,企業(yè)的業(yè)務系統(tǒng)在不斷增加,從數(shù)據(jù)規(guī)模來看,不管是在量級上還是數(shù)據(jù)類型上,都越來越龐大。數(shù)據(jù)越多,業(yè)務越復雜,數(shù)據(jù)的保護工作越值得重視。本文從整體的角度來談一談企業(yè)數(shù)據(jù)中心的備份規(guī)劃設計。
1. 備份系統(tǒng)設計指標
在任何情況下,備份的首要目的都是為數(shù)據(jù)安全。在發(fā)生故障時快速的將業(yè)務恢復起來,所有的設計都要為這一個終極目標服務。為了量化這個需求,我們需要先引入兩個概念:
RPO:Recovery Point Objectives, 恢復點目標,可以理解為從丟失事件到最近一次在前備份的時間度量
RTO:Recovery Time Objectives,恢復時間目標,理解為可以中斷或關閉多少時間而不會對業(yè)務造成重大損害
為了達到業(yè)務系統(tǒng)的RPO和RTO,我們所使用的將會是包含備份技術在內(nèi)一系列技術的組合,而不單單是狹義上的備份技術,具體可以參考下面的圖片:
但這并不意味著備份技術一無是處,它依然是數(shù)據(jù)恢復最后的憑仗,本文也主要偏向傳統(tǒng)備份技術的論述。
2. 備份系統(tǒng)需求調(diào)研
企業(yè)中存在多種類型的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),不同的行業(yè)的數(shù)據(jù)類型可能千差萬別,但從備份軟件的角度來看,需要備份的數(shù)據(jù)不外乎如下:
文件:Windows、Linux、unix平臺的文件或目錄
操作系統(tǒng):Windows、Linux等操作系統(tǒng)
數(shù)據(jù)庫:Oracle、db2、MS-SQL、MySQL…
郵件:MS-exchange、Lotus
ERP:SAP,包括R3(oracle、db2、maxdb等)和S4(hana)
虛擬化:Vmware、Hyper-V、KVM等
HCI:Nutanix
大數(shù)據(jù):Hadoop
云計算:openstack
NDMP:NAS存儲,如NetApp的fas系列
容器:如docker和k8s
所以一般在規(guī)劃綜合備份系統(tǒng)之前,首要的工作是做備份需求調(diào)研,先把備份對象確認下來。調(diào)研一般可以通過訪談或會議的方式,由備份負責人向業(yè)務系統(tǒng)負責人發(fā)放備份需求表,應用負責人根據(jù)調(diào)研問卷提供自己所負責的業(yè)務系統(tǒng)的基本情況和備份需求。通過調(diào)研可以梳理出以下內(nèi)容:
需要進行備份的業(yè)務系統(tǒng)的數(shù)量
涉及備份的業(yè)務系統(tǒng)的主機數(shù)量
備份主機的需要備份的數(shù)據(jù)類型、數(shù)據(jù)量以及重要程度
備份主機的系統(tǒng)類型、系統(tǒng)版本、應用類型和應用版本
備份主機所能給定的備份窗口 - 備份數(shù)據(jù)需要保留的周期
備份主機的網(wǎng)絡和存儲接入情況
經(jīng)過匯總分析后的業(yè)務系統(tǒng)需求表中,可以獲取如下信息:
備份存儲的空間要求
備份主機的備份速度相關的性要求
備份軟件所需要的備份模塊要求
業(yè)務系統(tǒng)數(shù)據(jù)備份的等級劃分
業(yè)務主機的備份調(diào)度
3. 備份系統(tǒng)的規(guī)劃
業(yè)務系統(tǒng)的備份需求收集完畢后,需要根據(jù)實際情況和各業(yè)務系統(tǒng)對備份的要求進行整體的備份規(guī)劃,一般來說分以下幾個部分:
策略規(guī)劃
調(diào)度規(guī)劃
存儲規(guī)劃
容災規(guī)劃
3.1 策略規(guī)劃
策略規(guī)劃指的是對各業(yè)務系統(tǒng)進行分類,然后備份軟件按照分類將業(yè)務數(shù)據(jù)劃分到不同的策略,進行集中備份管理。一般情況下,策略的內(nèi)容會包含備份主機、備份內(nèi)容、備份頻率,備份保留周期等內(nèi)容。
備份策略的劃分需要參考調(diào)研需求節(jié)點的備份需求表,在分類上可以基于以下維度:
基于相同的業(yè)務數(shù)據(jù)類型
基于相同的業(yè)務系統(tǒng)類型
基于相同的業(yè)務數(shù)據(jù)保留周期
相關聯(lián)、相依賴的業(yè)務系統(tǒng)組合
策略的規(guī)劃要從實際需求出發(fā),參考自身的RPO和RTO指標來完成設計。要避免設計不足,達不到恢復需求;同時也要避免過度設計,浪費寶貴的存儲資源和計算資源。
3.2 調(diào)度規(guī)劃
一般調(diào)度規(guī)劃指的就是業(yè)務系統(tǒng)備份作業(yè)的發(fā)起窗口。不同的業(yè)務系統(tǒng)有自己的特性,在調(diào)度設計時要充分考慮備份作業(yè)對業(yè)務系統(tǒng)的影響。比如某些支撐系統(tǒng)工作日白天需要不間斷運行,這時備份作業(yè)需要放到晚上執(zhí)行;而某些跑批的系統(tǒng)需要晚上執(zhí)行,備份作業(yè)則需要放到白天執(zhí)行。
不同業(yè)務系統(tǒng)的基本情況和備份需求,一般會在需求調(diào)研階段收集完畢。在調(diào)度規(guī)劃時要從多方面綜合考慮,要確保在不影響業(yè)務正常運行的情況下,在給定的備份窗口內(nèi)完成數(shù)據(jù)備份,一般情況下規(guī)劃調(diào)度時,需要考慮如下因素:
業(yè)務主機備份的數(shù)據(jù)量和給定的備份窗口
備份服務器的資源負載程度
備份網(wǎng)絡環(huán)境的負載程度
業(yè)務方面的其他特殊要求
3.3 存儲規(guī)劃
備份存儲的規(guī)劃需要從兩個維度來考慮:
備份網(wǎng)絡
可以說影響整個備份系統(tǒng)性能的關鍵因素就是備份網(wǎng)絡,備份網(wǎng)絡設計上的不足會導致一系列的性能問題,最終導致RPO和RTO不達標,關于備份網(wǎng)絡,需要關注以下幾點:
優(yōu)先使用獨立的備份專網(wǎng),包括前端IP網(wǎng)絡和后端san網(wǎng)絡
在兼容的前提下,優(yōu)先使用高速網(wǎng)絡,如萬兆網(wǎng)、16G的FC網(wǎng) 3. 為性能做好并發(fā)設計預留,通過多通道的方式可以大幅度提升性能
無法使用備份專網(wǎng)的情況下,在調(diào)度設計階段重點考慮網(wǎng)絡因素,避免備份流量影響生成業(yè)務的流量
備份存儲
目前備份系統(tǒng)的存儲主要有:
磁盤存儲:包括供備份服務器使用的獨立磁盤存儲、部分廠商的備份一體機、備份服務器的大容量本地磁盤等。目前磁盤存儲是主流的備份介質(zhì),隨機讀取性能好,結(jié)合重刪等特性可以達到較好的性價比。
磁帶存儲:磁帶庫是歷史悠久的備份存儲,不斷的更新?lián)Q代,歷久彌新,在性能和穩(wěn)定性上有了巨大的進步。在離線保存、數(shù)據(jù)量巨大的情況下還有很大的優(yōu)勢,缺點是多通道并發(fā)需要增加磁帶驅(qū)動器,成本較高。另外,虛擬磁帶庫彌補了部分物理磁帶庫的優(yōu)點,但本質(zhì)上還是磁盤存儲。
云存儲:近些年的趨勢,如基于S3、swift等接口協(xié)議的公有云、私有云存儲。在部分場景下替代了磁帶庫,但出于合規(guī)等要求,部分企業(yè)無法使用。
對于備份存儲的通用設計需求如下:
確保作為主備份存儲的設備,在容量上可以容納規(guī)劃內(nèi)的業(yè)務系統(tǒng)備份數(shù)據(jù)。這個容量主要來源于備份需求表,及后期固定年限內(nèi)的數(shù)據(jù)增長預估
確保主備份存儲的性能,可以滿足并發(fā)寫入時的峰值要求。這里的并發(fā)寫入指的是指定備份窗口內(nèi),所有運行備份作業(yè)的主機并發(fā),而不是整個備份系統(tǒng)的備份主機并發(fā),因為在設計時,調(diào)度是錯峰執(zhí)行的。
為備份存儲規(guī)劃獨立的備份網(wǎng)絡 4.合理利用存儲或備份軟件的高級特性,如重復數(shù)據(jù)刪除、壓縮、數(shù)據(jù)復制等功能,這樣可以同時在備份性能和容量上得到收益。5. 對于磁帶存儲,及時更新磁帶機設備。不同代差的磁帶機在性能和穩(wěn)定性方面差異巨大。6. 做好多副本設計,重要的備份數(shù)據(jù)要多份存放,避免因備份存儲故障導致備份數(shù)據(jù)不可用。7. 多通道設計,不僅體現(xiàn)在備份網(wǎng)絡的多通道,存儲也要跟上,比如多磁帶機。8. 合理利用分級存儲,比如磁盤+磁帶組合,磁盤+云存儲組合。通過對備份存儲的組合使用,可以在性能、容量和成本等方面做到最優(yōu)化。9. 合理設計磁帶出庫機制,做好出庫管理。

3.4 容災規(guī)劃
通常情況下,我們所說的備份指的是本地的備份系統(tǒng)。但是對于很多企業(yè)來說,都存在多個數(shù)據(jù)中心,并且這些數(shù)據(jù)中心間可能還做了同步、異步或雙活等容災機制。長遠來看,備份系統(tǒng)的規(guī)劃設計也要跟得上企業(yè)的容災規(guī)劃。
關于備份容災設計,有以下幾種設計模式:
主中心備份到磁帶庫,定期做磁帶出庫,將磁帶運輸?shù)絺渲行谋4?,備中心可選設計一套備份系統(tǒng)用來做恢復驗證。嚴格意義上來講,這只能算是備份介質(zhì)的異地存放,不能算容災
主備中心獨立部署備份系統(tǒng)。在主備中心已經(jīng)基于業(yè)務或數(shù)據(jù)層面做了數(shù)據(jù)同步的情況下,這種方式實際上是部署了兩套獨立的備份系統(tǒng),兩套備份軟件在數(shù)據(jù)和架構(gòu)上都是獨立的。
主備中心采用了相同備份存儲,并且基于備份存儲層面做了數(shù)據(jù)同步。備份軟件直接使用同步后的數(shù)據(jù)。這種方式下,備份軟件獨立部署,但是備份數(shù)據(jù)存在復制關聯(lián),比如下圖是主備機房基于EMC的DD存儲做復制。

主備中心采用了相同的備份軟件平臺,并且做了了基于備份軟件的數(shù)據(jù)同步,一般情況下,同步會基于重刪和壓縮技術來減少數(shù)據(jù)傳輸量。比如下圖是基于nbu air復制技術的容災備份

具體使用哪種容災備份模式,并沒有一定的成例。需要結(jié)合企業(yè)自身的實際情況,選擇最合適自己的。另外,備份容災的規(guī)劃可以放長遠一些,分階段逐步完成,沒有必要一蹴而就。
4. 總結(jié)
備份系統(tǒng)的整體設計是涉及多個方面的綜合工程,需要從多個維度通盤考慮,得到一個最優(yōu)解。在大多數(shù)情況下,出于現(xiàn)實情況的約束,也可以立足當下,著眼未來,分批逐步實現(xiàn)自己的需求??傊?,前期的良好規(guī)劃對于備份系統(tǒng)是非常重要的,一個良好運行的備份系統(tǒng)可以在遇到緊急數(shù)據(jù)故障的時候發(fā)揮極其重要的作用。
免責聲明:
本公眾號所有分享的軟件和資料來自網(wǎng)絡收集和整理,所有文字和圖片版權歸屬于原作者所有,且僅代表作者個人觀點,與數(shù)據(jù)工匠俱樂部無關,文章僅供讀者學習交流使用,并請自行核實相關內(nèi)容,如文章內(nèi)容涉及侵權,請聯(lián)系后臺管理員刪除
免責聲明:
本公眾號所有分享的軟件和資料來自網(wǎng)絡收集和整理,所有文字和圖片版權歸屬于原作者所有,且僅代表作者個人觀點,與數(shù)據(jù)工匠俱樂部無關,文章僅供讀者學習交流使用,并請自行核實相關內(nèi)容,如文章內(nèi)容涉及侵權,請聯(lián)系后臺管理員刪除
(歡迎大家加入數(shù)據(jù)工匠知識星球獲取更多資訊。)

掃描二維碼關注我們

我們的使命:發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動企業(yè)走進大數(shù)據(jù)時代。
我們的愿景:打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺、數(shù)據(jù)治理生態(tài)圈。
我們的價值觀:凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺、改變數(shù)據(jù)治理生態(tài)圈。

了解更多精彩內(nèi)容
長按,識別二維碼,關注我們吧!
數(shù)據(jù)工匠俱樂部
微信號:zgsjgjjlb
專注數(shù)據(jù)治理,推動大數(shù)據(jù)發(fā)展。
