重磅，騰訊開源分布式存儲系統(tǒng)！

Tendis存儲版是騰訊互娛CROS DBA團(tuán)隊(duì) & 騰訊云數(shù)據(jù)庫團(tuán)隊(duì) 自主設(shè)計(jì)和研發(fā)的開源分布式高性能KV存儲。完全兼容redis協(xié)議，并使用rocksdb作為存儲引擎。用戶可以通過redis client訪問Tendis存儲版，幾乎不用修改代碼。同時(shí)，Tendis存儲版支持遠(yuǎn)超內(nèi)存的磁盤容量，可以大大降低用戶的存儲成本。

類似于Redis Cluster, Tendis存儲版使用去中心化的集群管理架構(gòu)。數(shù)據(jù)節(jié)點(diǎn)之間通過gossip協(xié)議通訊，用戶訪問集群中的任意數(shù)據(jù)節(jié)，請求都能路由到正確的節(jié)點(diǎn)。并且集群節(jié)點(diǎn)支持自動發(fā)現(xiàn)、故障探測、自動故障切換、數(shù)據(jù)搬遷等能力，極大降低運(yùn)維成本。

特性

• Redis兼容性

  完全兼容redis協(xié)議，支持絕大多數(shù)redis的指令

• 持久化存儲

  使用rocksdb作為存儲引擎，所有數(shù)據(jù)以特定格式存儲在rocksdb中，最大支持PB級存儲

• 去中心化架構(gòu)

  類似于redis cluster的分布式實(shí)現(xiàn)，所有節(jié)點(diǎn)通過gossip協(xié)議通訊，可指定hashtag來控制數(shù)據(jù)分布和訪問，使用和運(yùn)維成本極低。

• 水平擴(kuò)展

  集群支持增刪節(jié)點(diǎn)，并且數(shù)據(jù)可以按照slot在任意兩節(jié)點(diǎn)之間遷移，擴(kuò)容和縮容過程中對應(yīng)用運(yùn)維人員透明，支持?jǐn)U展至1000個節(jié)點(diǎn)。

• 故障高可用

  自動檢測故障節(jié)點(diǎn)，當(dāng)故障發(fā)生，slave會提升為master繼續(xù)對外服務(wù)。

• redis冷熱混合存儲關(guān)鍵組件

  得益于Tendis存儲版的設(shè)計(jì)和內(nèi)部優(yōu)化，Redis和Tendis存儲版可以一起工作成為Tendis冷熱混合存儲。混合存儲區(qū)非常適用于KV存儲場景，并平衡了性能和成本。對于redis，占用大量存儲空間的冷數(shù)據(jù)降冷后可以最多減少80%的成本，同時(shí)保證熱數(shù)據(jù)在redis的訪問性能。

Tendis 冷熱混合存儲版整體架構(gòu)

Tendis 冷熱混合存儲版主要由 Proxy 、緩存層 Redis、 存儲層 Tendis 存儲版 和 同步層 Redis-sync 組成, 其中每個組件的功能如下:

Proxy 組件: 負(fù)責(zé)對客戶端請求進(jìn)行路由分發(fā)，將不同的 Key 的命令分發(fā)到正確的分片，同時(shí) Proxy 還負(fù)責(zé)了部分監(jiān)控?cái)?shù)據(jù)的采集，以及高危命令在線禁用等功能。

緩存層 Redis Cluster: 緩存層 Redis 基于 社區(qū) Redis 4.0 進(jìn)行開發(fā)。Redis 具有以下功能: 1) 版本控制 2) 自動將 冷數(shù)據(jù)從緩存層中淘汰, 將熱數(shù)據(jù)從存儲層加載到緩存層; 3) 使用 Cuckoo Filter 表示全量 Keys, 防止緩存穿透; 4) 基于 RDB+AOF 擴(kuò)縮容方式, 擴(kuò)縮容更加高效便捷。

存儲層 Tendis Cluster: Tendis 存儲版 是騰訊基于 RocksDB 自研的 兼容 Redis 協(xié)議的 KV 存儲引擎, 該引擎已經(jīng)在騰訊集團(tuán)內(nèi)部運(yùn)營多年, 性能和穩(wěn)定性得到了充分的驗(yàn)證。在混合存儲系統(tǒng)中主要負(fù)責(zé)全量數(shù)據(jù)的存儲和讀取, 以及數(shù)據(jù)備份, 增量日志備份等功能。

同步層 Redis-sync: 1) 并行數(shù)據(jù)導(dǎo)入 存儲層 Tendis; 2) 服務(wù)無狀態(tài), 故障重新拉起; 3) 數(shù)據(jù)自動路由。

• 緩存層 Redis Cluster 和 存儲層 Tendis Cluster 分別進(jìn)行擴(kuò)縮容, 集群自治管理等。

• 冷數(shù)據(jù)自動降冷, 降低內(nèi)存成本; 熱數(shù)據(jù)自動緩存, 降低訪問延遲

項(xiàng)目地址

開源地址：https://github.com/Tencent/Tendis