TimeTunnel實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái)
什么是TimeTunnel
!TimeTunnel(簡(jiǎn)稱TT)是一個(gè)基于thrift通訊框架搭建的實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái),具有高性能、實(shí)時(shí)性、順序性、高可靠性、高可用性、可擴(kuò)展性等特點(diǎn)。
高性能
2k大小的消息,峰值每秒4w TPS的訪問(wèn)。淘寶3臺(tái)服務(wù)器,每天處理2.3T(壓縮后)數(shù)據(jù),峰值每秒50MByte流入流量、130MByte流出流量
實(shí)時(shí)性
90%的消息5ms以內(nèi)送達(dá)
順序性
如果你開啟了順序傳輸功能,timetunnel保證消息的發(fā)布順序和訂閱順序是一致的
高可靠性
存儲(chǔ)方面,我們?cè)O(shè)計(jì)了內(nèi)存->磁盤->hadoop dfs三級(jí)緩存機(jī)制,確保數(shù)據(jù)可靠。 系統(tǒng)方面,我們將服務(wù)器節(jié)點(diǎn)組織成環(huán),在環(huán)里面每一個(gè)節(jié)點(diǎn)的后續(xù)節(jié)點(diǎn)是當(dāng)前節(jié)點(diǎn)的備份節(jié)點(diǎn),當(dāng)某節(jié)點(diǎn)故障時(shí),后續(xù)節(jié)點(diǎn)自動(dòng)接管故障節(jié)點(diǎn)數(shù)據(jù),以保證數(shù)據(jù)可靠性
高可用性
單個(gè)節(jié)點(diǎn)故障,不影響系統(tǒng)正常運(yùn)行
可擴(kuò)展性
可以對(duì)系統(tǒng)進(jìn)行橫向和縱向擴(kuò)展,橫向擴(kuò)展可以向現(xiàn)有的服務(wù)環(huán)里面增加節(jié)點(diǎn),縱向擴(kuò)展可以增加服務(wù)環(huán)
誰(shuí)使用TimeTunnel
目前TimeTunnel在淘寶廣泛的應(yīng)用于日志收集、數(shù)據(jù)監(jiān)控、廣告反饋、量子統(tǒng)計(jì)、數(shù)據(jù)庫(kù)同步等領(lǐng)域。
