Ceph最新的EC-CLAY插件調(diào)研-上

CLAY 簡介

Clay Codes ( Clay Codes: Moulding MDS Codes to Yield an MSR Code ) 是FAST18 上提出的一種編碼方法，文章地址，Clay 碼能夠?qū)⒁话愕腗DS 碼（最優(yōu)容錯）轉(zhuǎn)化為具有最優(yōu)修復(fù)的編碼方法，具有以下性質(zhì)：

Minimum Storage （最小存儲開銷，同經(jīng)典RS碼和最小存儲再生碼，MSR）
Maximum Failure Tolerance（最大容錯，即 (n,k)-Clay 碼可以容任意n-k 失效）
Optimal Repair Bandwidth （最優(yōu)修復(fù)開銷，能夠達(dá)到理論最優(yōu)值）
All-Node Optimal Repair （最小開銷修復(fù)所有節(jié)點(diǎn)的數(shù)據(jù)，包括原始數(shù)據(jù)和校驗(yàn)數(shù)據(jù)）
Disk Read Optimal （最優(yōu)磁盤讀）
Low Sub-packetization （低分包數(shù)，即碼字長度短）

參考資料1:http://blog.foool.net/2018/05/clay-codes-%E4%BB%8E%E7%94%9F%E6%88%90%E7%9F%A9%E9%98%B5%E7%9A%84%E8%A7%92%E5%BA%A6%E6%9D%A5%E7%9C%8B/

參考資料2:https://blog.acolyer.org/2018/03/01/clay-codes-moulding-mds-codes-to-yield-an-msr-code/

從ceph官方的介紹,可以確認(rèn)以下幾點(diǎn)：

• 向下兼容:CLAY插件與jerasure、ISA、SHEC插件兼容,這里可以理解為Clay是在這幾個插件的基礎(chǔ)上做的一層更高層面的數(shù)據(jù)組成抽象，能夠更加細(xì)致的控制數(shù)據(jù)的分布粒度，從而實(shí)現(xiàn)對原有的幾個插件在數(shù)據(jù)恢復(fù)場景下的性能優(yōu)化。這也就是是上面提到的“Clay 碼能夠?qū)⒁话愕腗DS 碼（最優(yōu)容錯）轉(zhuǎn)化為具有最優(yōu)修復(fù)的編碼方法”。

• 修復(fù)性能優(yōu)化"在底層已有的jerasure、ISA、SHEC幾個的插件基礎(chǔ)上，做了編碼優(yōu)化，能夠在異常發(fā)生，需要進(jìn)行數(shù)據(jù)恢復(fù)的情況下顯著的降低磁盤&網(wǎng)絡(luò)帶寬的消耗。這個也是CLAY EC插件的最大價值所在。

• 從Ceph 14版本開始提供，理論上這個特性可以向下backport到低版本。

從clay插件的初始化配置部分的函數(shù)實(shí)現(xiàn)，也能看到一些與其他插件在兼容適配上的限制

#src/erasure-code/clay/ErasureCodeClay.cc

int?ErasureCodeClay::parse(ErasureCodeProfile?&profile,
???????????????ostream?*ss)
{
??int?err?=?0;
??err?=?ErasureCode::parse(profile,?ss);
??err?|=?to_int("k",?profile,?&k,?DEFAULT_K,?ss);
??err?|=?to_int("m",?profile,?&m,?DEFAULT_M,?ss);

??err?|=?sanity_check_k_m(k,?m,?ss);

??err?|=?to_int("d",?profile,?&d,?std::to_string(k+m-1),?ss);

??//?check?for?scalar_mds?in?profile?input
?//默認(rèn)采用jerasure插件進(jìn)行編碼
??if?(profile.find("scalar_mds")?==?profile.end()?||
??????profile.find("scalar_mds")->second.empty())?{?
????mds.profile["plugin"]?=?"jerasure";?
????pft.profile["plugin"]?=?"jerasure";
??}?else?{
????std::string?p?=?profile.find("scalar_mds")->second;
???//底層只支持jerasure、isa、shec三種插件
????if?((p?==?"jerasure")?||?(p?==?"isa")?||?(p?==?"shec"))?{
??????mds.profile["plugin"]?=?p;?
??????pft.profile["plugin"]?=?p;
????}?else?{
????????*ss?<"scalar_mds?"?<"plugin"]?<<
???????????????"is?not?currently?supported,?use?one?of?'jerasure',"<<
???????????????"?'isa',?'shec'"?<std::endl;
????????err?=?-EINVAL;
????????return?err;
????}
??}



??if?(profile.find("technique")?==?profile.end()?||
??????profile.find("technique")->second.empty())?{
????if?((mds.profile["plugin"]=="jerasure")?||?(mds.profile["plugin"]=="isa")?)?{
??????mds.profile["technique"]?=?"reed_sol_van";
??????pft.profile["technique"]?=?"reed_sol_van";
????}?else?{
??????mds.profile["technique"]?=?"single";
??????pft.profile["technique"]?=?"single";
????}
??}?else?{
????std::string?p?=?profile.find("technique")->second;
????//Supported?techniques?are?‘reed_sol_van’,?‘reed_sol_r6_op’,‘cauchy_orig’,?‘cauchy_good’,?‘liber8tion’?for?jerasure,?
????if?(mds.profile["plugin"]?==?"jerasure")?{
??????if?(?(p?==?"reed_sol_van")?||?(p?==?"reed_sol_r6_op")?||?(p?==?"cauchy_orig")
???????????||?(p?==?"cauchy_good")?||?(p?==?"liber8tion"))?{
????????mds.profile["technique"]?=?p;
????????pft.profile["technique"]?=?p;
??????}?else?{
????????*ss?<"technique?"?<"is?not?currently?supported,?use?one?of?"
????????<"reed_sol_van',?'reed_sol_r6_op','cauchy_orig',"
????????<"'cauchy_good','liber8tion'"<std::endl;
????????err?=?-EINVAL;
????????return?err;
??????}
??????//‘reed_sol_van’,?‘cauchy’?for?isa?
????}?else?if?(mds.profile["plugin"]?==?"isa")?{
??????if?(?(p?==?"reed_sol_van")?||?(p?==?"cauchy"))?{
????????mds.profile["technique"]?=?p;
????????pft.profile["technique"]?=?p;
??????}?else?{
????????*ss?<"technique?"?<"is?not?currently?supported,?use?one?of"
????????<"'reed_sol_van','cauchy'"<std::endl;
????????err?=?-EINVAL;
????????return?err;
??????}
????}?else?{
????//?‘single’,‘multiple’?for?shec.
??????if?(?(p?==?"single")?||?(p?==?"multiple"))?{
????????mds.profile["technique"]?=?p;
????????pft.profile["technique"]?=?p;
??????}?else?{
????????*ss?<"technique?"?<"is?not?currently?supported,?use?one?of"<<
???????????????"'single','multiple'"<std::endl;
????????err?=?-EINVAL;
????????return?err;
??????}
????}
??}
??if?((d??k?+?m?-?1))?{
????*ss?<"value?of?d?"?<????????<"?must?be?within?[?"?<","?<-1?<"]"?<std::endl;
????err?=?-EINVAL;
????return?err;
??}

??q?=?d?-?k?+?1;
??if?((k?+?m)?%?q)?{
????nu?=?q?-?(k?+?m)?%?q;
??}?else?{
????nu?=?0;
??}
//注意分塊規(guī)則限定k+m+nu總和不能超過254
??if?(k+m+nu?>?254)?{
????err?=?-EINVAL;
????return?err;
??}

??if?(mds.profile["plugin"]?==?"shec")?{
????mds.profile["c"]?=?'2';
????pft.profile["c"]?=?'2';
??}
??mds.profile["k"]?=?std::to_string(k+nu);
??mds.profile["m"]?=?std::to_string(m);
??mds.profile["w"]?=?'8';

??pft.profile["k"]?=?'2';
??pft.profile["m"]?=?'2';
??pft.profile["w"]?=?'8';

??t?=?(k?+?m?+?nu)?/?q;
??sub_chunk_no?=?pow_int(q,?t);

??dout(10)?<???????<"?(q,t,nu)=("?<","?<","?<")"?<
??return?err;
}

故障恢復(fù)時的帶寬&磁盤消耗對比

以EC場景下，假設(shè) d = 發(fā)生故障時，需要參與數(shù)據(jù)恢復(fù)的OSD數(shù)量
在jerasure配置 k=8 m=4的情況下，發(fā)生一塊磁盤故障，需要讀取d=8磁盤才能完成數(shù)據(jù)的恢復(fù)。如果需要恢復(fù)的數(shù)據(jù)的容量為1G，那么需要總共讀取 8 x 1 GB = 8GB的數(shù)據(jù)容量（這也意味著需要同時通過網(wǎng)絡(luò)傳輸8GB的數(shù)據(jù))。
在clay的插件配置中，d的設(shè)置需要滿足 k+1 <= d <= k+m-1 的限制，為了滿足使d最大化節(jié)省磁盤和網(wǎng)絡(luò)帶寬消耗，clay選取d=k+m-1作為默認(rèn)配置。在k=8，m=4的場景下，根據(jù)公式推導(dǎo)可以得到d=8+4-1=11。其中磁盤需要恢復(fù)的數(shù)據(jù)量計算公式如下。其中K為故障時刻需要恢復(fù)的數(shù)據(jù)總量。

當(dāng)一個osd故障時，d=11，以需要恢復(fù)的數(shù)據(jù)總量為1GB為例，此時需要恢復(fù)下載的磁盤數(shù)據(jù)總量為

jerasure/isa=?8*?1GB?=?8GB
caly?=?(11*1GB)/(11-8+1)?=?11?/?4?=?2.75GB

對比看到caly能夠顯著的減少磁盤讀取數(shù)據(jù)和網(wǎng)絡(luò)傳輸帶寬的消耗，caly只用到了isa一類插件的的2.75/8≈34%的資源消耗。

同樣的場景下，以k=4，m=2為例，此時d=4+2-1=5，caly只用到了isa一類插件的的2.5/4≈62.5%的資源消耗。

jerasure/isa=?4*?1GB?=?4GB
caly?=?(5*1GB)/(5-4+1)?=?5?/?2?=?2.5GB

依次類推，匯總表格如下: