CloudCanalProcessCloudCanal SDK 數(shù)據(jù)處理器

CloudCanal Data Process 是一款針對 CloudCanal SDK 的開源數(shù)據(jù)處理器，原生官方 SDK 只有一些說明文檔。

本項(xiàng)目是由官方人員發(fā)起并與社區(qū)共同推進(jìn)的自定義代碼處理器，本工程匯集了 CloudCanal 數(shù)據(jù)處理插件，以達(dá)成數(shù)據(jù)自定義 transformation 目標(biāo)。

插件說明

• wide-table : 打?qū)挶頂?shù)據(jù)處理插件，主要包括事實(shí)表和單維表組合處理
• data-transform : 數(shù)據(jù)通用轉(zhuǎn)換插件，比如做操作變幻、額外加字段、清洗回填數(shù)據(jù)
• data-gather : 數(shù)據(jù)匯聚插件，將分庫分表、垂直拆分、異地?cái)?shù)據(jù)進(jìn)行實(shí)時匯聚
• data-compare : 數(shù)據(jù)對比插件，根據(jù)源端數(shù)據(jù)變化進(jìn)行業(yè)務(wù)對賬
• business-alert : 業(yè)務(wù)告警插件，根據(jù)數(shù)據(jù)變化趨勢做出相應(yīng)告警

使用說明

• 安裝 CloudCanal 并創(chuàng)建數(shù)據(jù)遷移同步任務(wù)
• 將需要使用的 CloudCanalProcessor 實(shí)現(xiàn)類(如:WideTableProcessorV2_simple)進(jìn)行適配性改造
• 子工程下 src/main/resources/META-INF/cloudcanal/plugin.properties 中修改為需要使用的類
• 子工程下 mvn -Dtest -DfailIfNoTests=false -Dmaven.javadoc.skip=true -Dmaven.compile.fork=true clean package 打包
• CloudCanal 控制臺創(chuàng)建任務(wù)(參考案例文章)，并上傳子工程 target 下 jar 包(如:wide-table-1.0.0-SNAPSHOT.jar)

CloudCanal

相關(guān)資源

• 官方原始文檔 https://www.clougence.com/cc-doc/operation/custom_processor

• 官方產(chǎn)品文檔 https://www.clougence.com/cc-doc/intro/product_intro