日前，騰訊云專家工程師嚴(yán)俊明老師，在云+社區(qū)技術(shù)沙龍「云原生」專場(chǎng)，分享了基于騰訊云對(duì)象存儲(chǔ) COS 的云原生數(shù)據(jù)湖最新技術(shù)突破，包括云原生數(shù)據(jù)湖業(yè)務(wù)場(chǎng)景以及技術(shù)架構(gòu)。

下面，讓我們一起回顧下嚴(yán)老師的精彩演講內(nèi)容。

大數(shù)據(jù)存儲(chǔ)云原生趨勢(shì)解析

第一階段：存儲(chǔ)一體，孤島。十幾年前，網(wǎng)絡(luò)速度遠(yuǎn)低于本地磁盤吞吐速度的時(shí)候，本地化讀取數(shù)據(jù)可以換取更高的吞吐性能。但隨著網(wǎng)絡(luò)速度不斷加快，磁盤吞吐速度逐漸成為計(jì)算瓶頸，本地盤HDFS壓力加大，運(yùn)維成本升高，可網(wǎng)絡(luò)帶寬資源卻閑置，導(dǎo)致業(yè)務(wù)效率低下。

第二階段：存算分離，存儲(chǔ)、計(jì)算解耦。解耦計(jì)算和存儲(chǔ)負(fù)載，系統(tǒng)負(fù)載均衡調(diào)度更加靈活，系統(tǒng)的資源利用率提高，節(jié)約成本，可以滿足業(yè)務(wù)快速增長(zhǎng)的需求。

第三階段：數(shù)據(jù)湖，存儲(chǔ)統(tǒng)一。隨著業(yè)務(wù)多樣化發(fā)展，業(yè)務(wù)間數(shù)據(jù)共享變得困難，而數(shù)據(jù)湖是一個(gè)集中式存儲(chǔ)池，支持多種數(shù)據(jù)源，無(wú)縫對(duì)接各種計(jì)算分析和機(jī)器學(xué)習(xí)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)處理與分析，打破數(shù)據(jù)孤島。

第四階段：云原生，計(jì)算統(tǒng)一。隨著數(shù)據(jù)湖計(jì)算節(jié)點(diǎn)調(diào)度效率降低，云原生技術(shù)能構(gòu)建和運(yùn)行可彈性擴(kuò)展的應(yīng)用，跨多云構(gòu)建微服務(wù)，持續(xù)交付部署業(yè)務(wù)生產(chǎn)系統(tǒng)。

騰訊云對(duì)象存儲(chǔ)架構(gòu)及數(shù)據(jù)湖場(chǎng)景挑戰(zhàn)

對(duì)象存儲(chǔ) COS 是騰訊云提供的一種存儲(chǔ)海量文件的分布式存儲(chǔ)服務(wù)，具有高擴(kuò)展性、低成本、高可靠、高可用、EB級(jí)擴(kuò)展能力。通過(guò)控制臺(tái)、API、SDK 和工具等多樣化方式，用戶可簡(jiǎn)單、快速地接入 COS，進(jìn)行多格式文件的上傳、下載和管理，實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)和管理。

相比傳統(tǒng)分布式存儲(chǔ)系統(tǒng)，COS 采用超大規(guī)模分布式存儲(chǔ)引擎：YottaStore，可輕松操控百萬(wàn)級(jí)超大規(guī)模存儲(chǔ)集群。YottaStore突破了單點(diǎn)Master的瓶頸，做到單集群可達(dá)百萬(wàn)節(jié)點(diǎn)的控制，且不需要拆分元數(shù)據(jù)。同時(shí)，元數(shù)據(jù)能存得更小，管理得更多，1Byte元數(shù)據(jù)可以管理2GB的物理空間。

此外，YottaStore是原生多AZ，在資源管理、調(diào)度考慮AZ，所有服務(wù)器共同承擔(dān)吞吐，對(duì)數(shù)據(jù)一致性有天然的保障。加上分鐘級(jí)RTO，RPO為0，可以徹底解放上層業(yè)務(wù)，數(shù)據(jù)冗余度低，存儲(chǔ)成本大幅度減少。

為了支持以 COS 為中心的大數(shù)據(jù)存算分離架構(gòu)以及云端數(shù)據(jù)湖，Apache Hadoop-3.3.0發(fā)布了COSN文件系統(tǒng)，兼容HCFS接口，全覆蓋HDFS大數(shù)據(jù)計(jì)算應(yīng)用。

而數(shù)據(jù)湖場(chǎng)景面臨的主要有3點(diǎn)：

元數(shù)據(jù)延時(shí)高
元數(shù)據(jù)非原子性
帶寬需求大、成本高

騰訊云對(duì)象存儲(chǔ)數(shù)據(jù)湖三級(jí)加速

元數(shù)據(jù)加速技術(shù)（用戶側(cè)）

文件組織以文件樹形式管理，文件拆成塊管理，塊又會(huì)進(jìn)一步拆解存儲(chǔ)到對(duì)象存儲(chǔ) COS 上，是一種扁平化結(jié)構(gòu)。支持目錄級(jí)別并發(fā)，分區(qū)可擴(kuò)展，也可跨分區(qū)。

加速讀操作，盡可能內(nèi)存化，從內(nèi)存直接讀取數(shù)據(jù)。

緩存加速技術(shù)

元數(shù)據(jù)緩存到計(jì)算端（用戶側(cè)），提前預(yù)熱數(shù)據(jù)，從本地直接讀取，減少網(wǎng)絡(luò)帶寬限制，提高訪問(wèn)性能。

提高緩存命中率，提高資源利用率，極大降低網(wǎng)絡(luò)帶寬成本。

支持云原生部署，部署方式靈活

AZ數(shù)據(jù)加速技術(shù)——COS加速器（存儲(chǔ)端）

AZ Locality
專有加速域名訪問(wèn)資源；
緩存數(shù)據(jù)強(qiáng)一致；
可以加速Bucket，或者prefix；
同一個(gè)Bucket，支持多個(gè)加速器
支持存量Bucket，隨時(shí)Enable/Disable；
如果miss cache，從COS回源

EMR On COS 存算分離實(shí)踐分享

Hive On COS 存算分離優(yōu)化實(shí)踐

hive的例子原本是存算一體架構(gòu)，數(shù)據(jù)含有大量的本地化策略、邏輯?？蓴?shù)據(jù)上傳到 COS 后，不再含有本地邏輯，會(huì)重新計(jì)算、切分?jǐn)?shù)據(jù)大小，map從274個(gè)減少到5個(gè)，從而提高系統(tǒng)并發(fā)，降低系統(tǒng)運(yùn)行時(shí)間。

Spark On COS 存算分離優(yōu)化實(shí)踐

spark采用串行、單線程操作，網(wǎng)路延時(shí)過(guò)大。存算分離實(shí)踐對(duì)spark進(jìn)行并發(fā)加速，加快單線程操作時(shí)間，從而提高spark的運(yùn)行速度。

以上是嚴(yán)老師分享內(nèi)容的簡(jiǎn)要概括，更多精彩內(nèi)容，可以點(diǎn)擊下方視頻觀看。

關(guān)于我們

騰訊云對(duì)象存儲(chǔ)COS 誠(chéng)招存儲(chǔ)，緩存，大數(shù)據(jù)，容器化等各方向的分布式系統(tǒng)研發(fā)工程師，請(qǐng)私信或聯(lián)系 [email protected]

▼ 點(diǎn)「在看」，讓更多人發(fā)現(xiàn)精彩 ▼

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

數(shù)據(jù)湖專場(chǎng) | 三級(jí)加速，打造高性能云原生數(shù)據(jù)湖

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

數(shù)據(jù)湖專場(chǎng) | 三級(jí)加速，打造高性能云原生數(shù)據(jù)湖

數(shù)據(jù)湖專場(chǎng) | 三級(jí)加速，打造高性能云原生數(shù)據(jù)湖