中文字幕三区,欧美精品系列,亚洲精品福利,国产精品女人久久久久,公妇借种乱h日出水了小说,色色9999,菊花综合网,疯狂做受xxxx高潮欧美日本

“在分布式背景下，可以實(shí)現(xiàn)雙一致性（事務(wù)一致性、分布式一致性），并提高分布式事務(wù)型集群的處理效率嗎？”

答案是可以。

下面數(shù)據(jù)君將為大家深度揭秘這個(gè)數(shù)據(jù)庫(kù)領(lǐng)域的核心技術(shù)——分布式事務(wù)處理技術(shù)的核心——多級(jí)一致性技術(shù)。

該技術(shù)在遵循了ACID特性的同時(shí)，使得事務(wù)處理技術(shù)符合CAP原理，并在理論層面相較“嚴(yán)格可串行化”技術(shù)做了擴(kuò)展，進(jìn)一步提出了多種強(qiáng)一致性的完整技術(shù)。同時(shí)該技術(shù)在工程實(shí)踐層面落地了較高的性能，是同類產(chǎn)品Spaneer性能的4+倍，是CorchroachDB的2+倍，高并發(fā)場(chǎng)景下是Greenplum性能的3+倍。

這意味著，TDSQL實(shí)現(xiàn)了數(shù)據(jù)庫(kù)領(lǐng)域真正高性能的強(qiáng)一致性工程系統(tǒng)，對(duì)推動(dòng)分布式數(shù)據(jù)庫(kù)核心技術(shù)以及產(chǎn)業(yè)應(yīng)用有著重要意義。

一問(wèn)題的背景

科學(xué)研究，始于問(wèn)題。在分布式事務(wù)處理領(lǐng)域，有很多重要的問(wèn)題，遠(yuǎn)不止是2PC技術(shù)所能囊括的。例如，騰訊云TDSQL目前在解決的一個(gè)復(fù)雜且是一個(gè)復(fù)合的問(wèn)題如下：

事務(wù)型數(shù)據(jù)庫(kù)必須要解決的問(wèn)題，是數(shù)據(jù)的一致性問(wèn)題。該問(wèn)題是事務(wù)ACID特性的C的問(wèn)題，如果不滿足C，會(huì)有多種數(shù)據(jù)異常，如臟讀、不可重復(fù)讀、幻讀、讀偏序、寫偏序等數(shù)據(jù)異常。

而分布式系統(tǒng)，遵循CAP理論，其中的C，也是“一致性”，是操作之間讀取數(shù)據(jù)的一致性。如果CAP的C不被滿足，則會(huì)出現(xiàn)Steal read、Immortal write、Causal reverse等一致性異常問(wèn)題（如圖2所示）。

而分布式事務(wù)型數(shù)據(jù)庫(kù)，則同時(shí)面臨以上兩類問(wèn)題，如圖1所示。在分布式事務(wù)型數(shù)據(jù)庫(kù)中，該兩類問(wèn)題各自解決都有難度（例如很多數(shù)據(jù)庫(kù)像Oracle都不提供可串行化不能確保數(shù)據(jù)異常不發(fā)生、NoSQL系統(tǒng)為了保證CAP中的A和P而丟掉了C），更不用說(shuō)協(xié)同被解決了。

圖1 多級(jí)一致性研究背景和問(wèn)題

圖2 分布式系統(tǒng)下存在的問(wèn)題

TDSQL作為一個(gè)分布式事務(wù)型數(shù)據(jù)庫(kù)，就面臨著如上的兩個(gè)問(wèn)題疊加（分布式一致性+事務(wù)一致性）這樣一個(gè)復(fù)合且復(fù)雜的技術(shù)問(wèn)題，其難點(diǎn)在于保證正確性的背景下如何做到高效率，這直接影響著分布式事務(wù)數(shù)據(jù)庫(kù)的事務(wù)處理的吞吐量（Transaction throughput）。

二學(xué)術(shù)界的研究與問(wèn)題的復(fù)雜度

在學(xué)術(shù)界，前述問(wèn)題的一種解決方式，被稱為“嚴(yán)格可串行化”，該技術(shù)可以解決掉事務(wù)的一致性和CAP的一致性引發(fā)的問(wèn)題。如圖3所示（文獻(xiàn)《Highly available transactions: Virtues and limitations》），其中的樹(shù)根，就是事務(wù)一致性和分布式一致性的結(jié)合點(diǎn)，嚴(yán)格可串行化。而樹(shù)的左子樹(shù)（事務(wù)一致性）和右子樹(shù)（分布式一致性），是兩個(gè)獨(dú)立的系統(tǒng)，他們之間沒(méi)有關(guān)聯(lián)關(guān)系。

圖3 學(xué)術(shù)界對(duì)于“事務(wù)一致性和分布式一致性的結(jié)合點(diǎn)”的研究（1）

從圖3也可以看出，左子樹(shù)的事務(wù)一致性隔離級(jí)別有很多種，右子樹(shù)的分布式一致性有很多種，因此，需要系統(tǒng)地研究各種級(jí)別的事務(wù)的一致性和分布式系統(tǒng)的一致性，才能更好的分析問(wèn)題、解決問(wèn)題（而不是只考慮樹(shù)根的唯一結(jié)合點(diǎn)）。而如圖4告知我們，分布式一致性有很多，圖4總結(jié)有60種左右，這為研究該項(xiàng)問(wèn)題，帶來(lái)了復(fù)雜度。

圖4 分布式一致性關(guān)系圖

盡管融合分布式一致性的問(wèn)題有很大的復(fù)雜度，但是這樣的攔路虎是阻止不了我們對(duì)問(wèn)題深入研究的熱情和步伐的。TDSQL在前行探索中，如圖5所示，看到了方向和曙光（紅色方框處）。圖5中藍(lán)色方框，是事務(wù)中的與隔離性相關(guān)的一致性等級(jí)、和分布式一致性，在橫軸的“Isolation(transactional)”列，對(duì)應(yīng)的是事務(wù)的隔離級(jí)別，而他們相交處，是紅色方框所框住的，卻是“一片空白”。這片空白處，正是研究所未及處，也正是這片無(wú)人區(qū)，讓TDSQL的研究有了空間和舞臺(tái)。

圖5 學(xué)術(shù)界對(duì)于“事務(wù)一致性和分布式一致性的結(jié)合點(diǎn)”的研究（2）

另外，業(yè)界經(jīng)常提及“強(qiáng)一致性”，但概念混亂不清晰。文獻(xiàn)《Consistency in Non-Transactional Distributed Storage Systems》指出如下內(nèi)容，澄清了強(qiáng)一致性的含義：

In a hybrid consistent system, strong operations are guaranteed to be seen in some sequential order by all processes (as in sequential consistency), while weak operations are designed to be fast, and they eventually become visible by all processes (much like in eventual consistency). Weak operations are only guaranteed to be ordered according to their interleaving with strong operations: if two operations belong to the same session and one of them is strong, then their relative order of invocation is respected and visible by all processes.

所以，是否被“所有進(jìn)程”可見(jiàn)，是判斷強(qiáng)一致性的標(biāo)準(zhǔn)，而在分布式一致性中，只有線性一致性和順序一致性滿足強(qiáng)一致性的含義。而結(jié)合事務(wù)一致性，需要再滿足可串行化才能稱為分布式事務(wù)的強(qiáng)一致性。

綜上所述，TDSQL所研究的問(wèn)題，正是ACID的C、CAP的C，以及強(qiáng)一致之間的內(nèi)在聯(lián)系，他們有兩個(gè)維度的表現(xiàn)：一是考慮這些因素時(shí)如何保證正確性，二是在有這些因素存在影響下如何保證所實(shí)現(xiàn)的系統(tǒng)有好的性能。如果沒(méi)有好的性能，提供再?gòu)?qiáng)的一致性也難以實(shí)用，因此強(qiáng)一致性背景下實(shí)現(xiàn)高性能成為挑戰(zhàn)。

三產(chǎn)業(yè)界的實(shí)現(xiàn)與存在的問(wèn)題

在產(chǎn)業(yè)界，目前只有Google的Spanner系統(tǒng)，實(shí)現(xiàn)了“嚴(yán)格可串行化”，Spanner稱之為“外部一致性”（《Spanner:Googles globally distributed database》）。該項(xiàng)技術(shù)在2012年發(fā)表，使得數(shù)據(jù)庫(kù)界的研究和實(shí)踐從NoSQL時(shí)代買入NewSQL時(shí)代，具有劃時(shí)代的意義。其實(shí)現(xiàn)的技術(shù)本質(zhì)，是把分布式中的線性一致性和事務(wù)一致性的可串行化相結(jié)合，從而實(shí)現(xiàn)了“嚴(yán)格可串行化”。

圖6 工業(yè)界對(duì)于“事務(wù)一致性和分布式一致性的結(jié)合點(diǎn)”的實(shí)踐

但是，Spanner的實(shí)現(xiàn)，存在一個(gè)問(wèn)題：正確性能夠保證，但性能低下（如圖6所示的事務(wù)吞吐量的計(jì)算公式）。因此，該系統(tǒng)具有象征意義。而實(shí)踐中，對(duì)于需要在金融級(jí)的事務(wù)處理場(chǎng)景中，其性能不符合要求。

四騰訊云TDSQL的多級(jí)一致性技術(shù)

TDSQL深入研究了分布式一致性問(wèn)題，解決了一些技術(shù)難題。例如圖7，線性一致性有多個(gè)子類，那么線性一致性和事務(wù)一致性結(jié)合時(shí)，是否應(yīng)該有多個(gè)級(jí)別的“嚴(yán)格可串行化”？再如，為什么順序一致性可以和可串行化結(jié)合而能確保強(qiáng)一致性？這些問(wèn)題，都需要在理論層面加以證明，然后才能遷移到工程系統(tǒng)中指導(dǎo)工程實(shí)現(xiàn)。

圖7 線性一致性的定義

在深入研究了ACID的C和CAP的C以及強(qiáng)一致性之后，TDSQL團(tuán)隊(duì)通過(guò)一致性建模技術(shù)，從概念、模型、基于模型的操作、事務(wù)模型框架、數(shù)據(jù)結(jié)構(gòu)和高效算法設(shè)計(jì)等多個(gè)角度，基于TDSQL和Greenplum實(shí)現(xiàn)了“多級(jí)一致性”技術(shù)（基于Greenplum目的是為了便于和業(yè)界的產(chǎn)品實(shí)現(xiàn)對(duì)比發(fā)現(xiàn)問(wèn)題），該技術(shù)在正確性方面，給出了滿足強(qiáng)一致性的線性可串行化、順序可串行化級(jí)別的定義和證明等，使得前述的事務(wù)一致性方面的數(shù)據(jù)異常如寫偏序、分布式一致性方面的分布式異常如Steal read等問(wèn)題被消除。而在性能方面，有著優(yōu)異的表現(xiàn)。

該技術(shù)在Google云上對(duì)比測(cè)試了Spanner的性能，對(duì)比測(cè)試了業(yè)界知名的NewSQL系統(tǒng)CorchroachDB、對(duì)比測(cè)試了原生的Greenplum，均獲得了較好的結(jié)果，如圖8所示（TDSQL的多級(jí)一致性：SER-L，線性可串行化；SER-S，順序可串行化），從多個(gè)角度驗(yàn)證對(duì)比了TDSQL多級(jí)一致性的性能，在圖8中給出部分實(shí)驗(yàn)數(shù)據(jù)。圖8的實(shí)驗(yàn)分為4個(gè)層面進(jìn)行了對(duì)比：

1.對(duì)比Spanner的性能：圖8左上角的子圖，同樣性價(jià)比的同等資源情況下，TDSQL的多級(jí)一致性是Spanner性能的4+倍。

2.對(duì)比CorchroachDB的性能圖8左下角的子圖，同樣硬件測(cè)試環(huán)境下，TDSQL的多級(jí)一致性是CorchroachDB性能的2+倍。

3.對(duì)比原生的Greenplum的性能：圖8右子圖，硬件測(cè)試環(huán)境下，TDSQL的多級(jí)一致性是原生的Greenplum性能的3+倍。

4.存在一定程度的網(wǎng)絡(luò)延時(shí)的情況下，TDSQL多級(jí)一致性的性能表現(xiàn)：圖8右子圖，還測(cè)試在分布式環(huán)境下，當(dāng)網(wǎng)絡(luò)存在1.5ms和5ms的延時(shí)情況下，高并發(fā)場(chǎng)景下的TDSQL多級(jí)一致性技術(shù)，依然好于無(wú)延時(shí)情況的Greenplum的RC隔離級(jí)別的性能，這表明具有更高一致性的隔離級(jí)別可以做到更好的性能（CorchroachDB早期版本實(shí)現(xiàn)了快照隔離和可串行化，但在新版本中，只保留了更嚴(yán)格的可串行化級(jí)別，大家可想想為什么呢？）。

圖8 TDSQL多級(jí)一致性技術(shù)性能驗(yàn)證

五 TDSQL多級(jí)一致性工作的意義

TDSQL多級(jí)一致性的研究與實(shí)踐工作，有幾個(gè)價(jià)值:

1.實(shí)現(xiàn)多種強(qiáng)一致性的工程系統(tǒng)：在目前已知的系統(tǒng)內(nèi)，實(shí)現(xiàn)強(qiáng)一致性的只有Spanner和TDSQL；實(shí)現(xiàn)多種級(jí)別的強(qiáng)一致性系統(tǒng)，只有TDSQL。這對(duì)于深入實(shí)踐強(qiáng)一致性系統(tǒng)，有著榜樣的作用，我們可從中知道，工程實(shí)踐中，該方向的理論是可行的。

2.真正高性能的強(qiáng)一致性工程系統(tǒng)：確保正確性的系統(tǒng)，未必能夠有效運(yùn)用到實(shí)際的環(huán)境中，因?yàn)楦咝阅苁呛饬恳粋€(gè)系統(tǒng)的核心指標(biāo)。而多種強(qiáng)一致性下的TDSQL，有著可以滿足實(shí)際應(yīng)用的性能。在無(wú)任何數(shù)據(jù)異常和一致性異常出現(xiàn)的情況下，用戶不必再擔(dān)心數(shù)據(jù)或操作出現(xiàn)意想不到的問(wèn)題，但卻可以享受極佳的性能體驗(yàn)，這表明，工程實(shí)踐中，該技術(shù)落地是可行的。

我們期待，序幕拉開(kāi)，真正的強(qiáng)一致性系統(tǒng)將如雨后春筍……

六未來(lái)工作

一個(gè)好消息是，未來(lái)該項(xiàng)技術(shù)大概率會(huì)開(kāi)源。

TDSQL的事務(wù)處理技術(shù)，已經(jīng)有一部分開(kāi)源了，大家可以在github上找到3TS這個(gè)開(kāi)源項(xiàng)目，該項(xiàng)目專注于事務(wù)處理技術(shù)，會(huì)深入涉及與事務(wù)處理技術(shù)相關(guān)的各個(gè)層面，進(jìn)行有價(jià)值、有深度的研究和實(shí)踐。目前該項(xiàng)目下已經(jīng)開(kāi)源了13種并發(fā)訪問(wèn)控制算法，并提供了詳細(xì)的文檔資料。

TDSQL和中國(guó)人民大學(xué)數(shù)據(jù)工程與知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室期望，能用自己的實(shí)際行動(dòng)，讓我們攜手完成的項(xiàng)目，為學(xué)術(shù)界和工程界做出有意義的貢獻(xiàn)，推動(dòng)數(shù)據(jù)庫(kù)技術(shù)向前發(fā)展。路漫漫其修遠(yuǎn)兮，我們?cè)谂η靶兄校瑲g迎加入TDSQL，一起在先進(jìn)技術(shù)的海洋中暢游。

圖9 TDSQL未來(lái)的技術(shù)發(fā)展方向

- End -

更多精彩

Beyond database：云時(shí)代數(shù)據(jù)庫(kù)技術(shù)演進(jìn)的幾大關(guān)鍵趨勢(shì)

TDSQL的2020進(jìn)化在未來(lái)之前，更在未來(lái)之后

↓↓一年19.9特惠數(shù)據(jù)庫(kù)點(diǎn)這兒~

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

分布式一致性哪家強(qiáng)？這篇說(shuō)清楚了