數(shù)據(jù)湖專場(chǎng) | 三級(jí)加速,打造高性能云原生數(shù)據(jù)湖
日前,騰訊云專家工程師嚴(yán)俊明老師,在云+社區(qū)技術(shù)沙龍「云原生」專場(chǎng),分享了基于騰訊云對(duì)象存儲(chǔ) COS 的云原生數(shù)據(jù)湖最新技術(shù)突破,包括云原生數(shù)據(jù)湖業(yè)務(wù)場(chǎng)景以及技術(shù)架構(gòu)。
下面,讓我們一起回顧下嚴(yán)老師的精彩演講內(nèi)容。
1
大數(shù)據(jù)存儲(chǔ)云原生趨勢(shì)解析

2
騰訊云對(duì)象存儲(chǔ)架構(gòu)及數(shù)據(jù)湖場(chǎng)景挑戰(zhàn)

對(duì)象存儲(chǔ) COS 是騰訊云提供的一種存儲(chǔ)海量文件的分布式存儲(chǔ)服務(wù),具有高擴(kuò)展性、低成本、高可靠、高可用、EB級(jí)擴(kuò)展能力。通過(guò)控制臺(tái)、API、SDK 和工具等多樣化方式,用戶可簡(jiǎn)單、快速地接入 COS,進(jìn)行多格式文件的上傳、下載和管理,實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)和管理。
元數(shù)據(jù)延時(shí)高
元數(shù)據(jù)非原子性
帶寬需求大、成本高
3
騰訊云對(duì)象存儲(chǔ)數(shù)據(jù)湖三級(jí)加速

元數(shù)據(jù)加速技術(shù)(用戶側(cè))

緩存加速技術(shù)

AZ數(shù)據(jù)加速技術(shù)——COS加速器(存儲(chǔ)端)
AZ Locality
專有加速域名訪問(wèn)資源;
緩存數(shù)據(jù)強(qiáng)一致;
可以加速Bucket,或者prefix;
同一個(gè)Bucket,支持多個(gè)加速器
支持存量Bucket,隨時(shí)Enable/Disable;
如果miss cache,從COS回源
4
EMR On COS 存算分離實(shí)踐分享
Hive On COS 存算分離優(yōu)化實(shí)踐
Spark On COS 存算分離優(yōu)化實(shí)踐

評(píng)論
圖片
表情
