1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        4 款 MySQL Binlog 日志處理工具對(duì)比

        共 1696字,需瀏覽 4分鐘

         ·

        2022-05-13 03:18


        Canal

        定位:基于數(shù)據(jù)庫(kù)增量日志解析,提供增量數(shù)據(jù)訂閱&消費(fèi),目前主要支持了mysql。

        原理:

        • canal模擬mysql slave的交互協(xié)議,偽裝自己為mysql slave,向mysql master發(fā)送dump協(xié)議
        • mysql master收到dump請(qǐng)求,開(kāi)始推送binary log給slave(也就是canal)
        • canal解析binary log對(duì)象(原始為byte流)
        整個(gè)parser過(guò)程大致可分為幾步:
        • Connection獲取上一次解析成功的位置(如果第一次啟動(dòng),則獲取初始制定的位置或者是當(dāng)前數(shù)據(jù)庫(kù)的binlog位點(diǎn))
        • Connection建立連接,發(fā)生BINLOG_DUMP命令
        • Mysql開(kāi)始推送Binary Log
        • 接收到的Binary Log通過(guò)Binlog parser進(jìn)行協(xié)議解析,補(bǔ)充一些特定信息
        • 傳遞給EventSink模塊進(jìn)行數(shù)據(jù)存儲(chǔ),是一個(gè)阻塞操作,直到存儲(chǔ)成功
        • 存儲(chǔ)成功后,定時(shí)記錄Binary Log位置
        • 數(shù)據(jù)過(guò)濾:支持通配符的過(guò)濾模式,表名,字段內(nèi)容等
        • 數(shù)據(jù)路由/分發(fā):解決1:n (1個(gè)parser對(duì)應(yīng)多個(gè)store的模式)
        • 數(shù)據(jù)歸并:解決n:1 (多個(gè)parser對(duì)應(yīng)1個(gè)store)
        • 數(shù)據(jù)加工:在進(jìn)入store之前進(jìn)行額外的處理,比如join

        Maxwell

        canal 由Java開(kāi)發(fā),分為服務(wù)端和客戶端,擁有眾多的衍生應(yīng)用,性能穩(wěn)定,功能強(qiáng)大;canal 需要自己編寫客戶端來(lái)消費(fèi)canal解析到的數(shù)據(jù)。
        maxwell相對(duì)于canal的優(yōu)勢(shì)是使用簡(jiǎn)單,它直接將數(shù)據(jù)變更輸出為json字符串,不需要再編寫客戶端。

        Databus

        Databus是一種低延遲變化捕獲系統(tǒng),已成為L(zhǎng)inkedIn數(shù)據(jù)處理管道不可或缺的一部分。Databus解決了可靠捕獲,流動(dòng)和處理主要數(shù)據(jù)更改的基本要求。Databus提供以下功能:
        • 源與消費(fèi)者之間的隔離
        • 保證按順序和至少一次交付具有高可用性
        • 從更改流中的任意時(shí)間點(diǎn)開(kāi)始消耗,包括整個(gè)數(shù)據(jù)的完全引導(dǎo)功能。
        • 分區(qū)消費(fèi)
        • 源一致性保存

        阿里云的數(shù)據(jù)傳輸服務(wù)DTS

        數(shù)據(jù)傳輸服務(wù)(Data Transmission Service,簡(jiǎn)稱DTS)是阿里云提供的一種支持 RDBMS(關(guān)系型數(shù)據(jù)庫(kù))、NoSQL、OLAP 等多種數(shù)據(jù)源之間數(shù)據(jù)交互的數(shù)據(jù)流服務(wù)。DTS提供了數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)訂閱及數(shù)據(jù)實(shí)時(shí)同步等多種數(shù)據(jù)傳輸能力,可實(shí)現(xiàn)不停服數(shù)據(jù)遷移、數(shù)據(jù)異地災(zāi)備、異地多活(單元化)、跨境數(shù)據(jù)同步、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、查詢報(bào)表分流、緩存更新、異步消息通知等多種業(yè)務(wù)應(yīng)用場(chǎng)景,助您構(gòu)建高安全、可擴(kuò)展、高可用的數(shù)據(jù)架構(gòu)。

        優(yōu)勢(shì)

        數(shù)據(jù)傳輸(Data Transmission)服務(wù) DTS 支持 RDBMS、NoSQL、OLAP 等多種數(shù)據(jù)源間的數(shù)據(jù)傳輸。它提供了數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)訂閱及數(shù)據(jù)實(shí)時(shí)同步等多種數(shù)據(jù)傳輸方式。相對(duì)于第三方數(shù)據(jù)流工具,數(shù)據(jù)傳輸服務(wù) DTS 提供更豐富多樣、高性能、高安全可靠的傳輸鏈路,同時(shí)它提供了諸多便利功能,極大得方便了傳輸鏈路的創(chuàng)建及管理。
        個(gè)人理解:就是一個(gè)消息隊(duì)列,會(huì)給你推送它包裝過(guò)的sql對(duì)象,可以自己做個(gè)服務(wù)去解析這些sql對(duì)象。
        免去部署維護(hù)的昂貴使用成本。DTS針對(duì)阿里云RDS(在線關(guān)系型數(shù)據(jù)庫(kù))、DRDS等產(chǎn)品進(jìn)行了適配,解決了Binlog日志回收,主備切換、VPC網(wǎng)絡(luò)切換等場(chǎng)景下的訂閱高可用問(wèn)題。同時(shí),針對(duì)RDS進(jìn)行了針對(duì)性的性能優(yōu)化。出于穩(wěn)定性、性能及成本的考慮,推薦使用。
        原文:https://blog.csdn.net/weixin_38071106/article/details/88547660

        資料分享

        其實(shí)B站已經(jīng)要非常多資料,但是還是有些小伙伴找不到,資料多了也眼花繚亂,小編找了一批某機(jī)構(gòu)4個(gè)月付費(fèi)培訓(xùn)教程:視頻、代碼、課件、軟件,統(tǒng)統(tǒng)都有,很適合新手學(xué)習(xí) 。



        如何獲?。?/span>

        1. 識(shí)別并關(guān)注下方公眾號(hào),建議復(fù)制關(guān)鍵字;
        2. 在下面公眾號(hào)后臺(tái)回復(fù)關(guān)鍵字「
        666」。

        ??長(zhǎng)按上方二維碼 2 秒
        回復(fù)「666」即可獲取資料


        ??給個(gè)「在看」,是對(duì)我最大的支持??

        瀏覽 40
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            一区二区三区黄色录像 | 在线观看人成视频 | 女人脱精光直播视频免费看 | 三上悠亚被淫辱の教室下载 | 老师翘臀办公室后进式视频 | 69精品少妇一区二区三区蜜桃 | 搞黄免费网站 | 欧美视频网站在线观看 | 欧美成人AAAAAA | www 黄 欧美 |