隨著信息化、數(shù)字化、智能化的進(jìn)程加速，特別是后疫情時代，數(shù)據(jù)在全球經(jīng)濟(jì)運轉(zhuǎn)中的價值日益凸顯。今年三月底，數(shù)據(jù)更是被作為一種新型的生產(chǎn)要素寫入中央文件，與土地、勞動力、資本、技術(shù)等經(jīng)典生產(chǎn)要素并列。
數(shù)據(jù)最終的價值來源于治理。只有經(jīng)過采集、清洗、分析和處理后的數(shù)據(jù)，才能在流通中更順暢地使用，其價值才能得到更充分地挖掘。同時，隨著區(qū)塊鏈技術(shù)的蓬勃發(fā)展，區(qū)塊鏈漸趨規(guī)?；瘧?yīng)用，鏈上數(shù)據(jù)總量呈指數(shù)級增長，其中蘊(yùn)藏的巨大價值，也需要通過高效、規(guī)范的數(shù)據(jù)治理，才能得到充分彰顯。
微眾銀行區(qū)塊鏈在多年技術(shù)研究和應(yīng)用實踐的基礎(chǔ)上，積極分析、總結(jié)行業(yè)需求，研發(fā)了一套數(shù)據(jù)治理通用組件（WeBankBlockchain-Data）解決區(qū)塊鏈數(shù)據(jù)治理的技術(shù)難題，多維提升開發(fā)、運營、運維效率。
目前，WeBankBlockchain-Data已在金融、公益、農(nóng)牧產(chǎn)品溯源、司法存證、零售等多個行業(yè)落地和使用，歷經(jīng)多個內(nèi)外部生產(chǎn)環(huán)境項目的打磨，不斷以“輕量化、模塊化、通用化”的設(shè)計哲學(xué)進(jìn)化，具備處理海量數(shù)據(jù)、高可用、可審計等能力。
為助力全行業(yè)伙伴提升區(qū)塊鏈數(shù)據(jù)治理的效率，實現(xiàn)數(shù)據(jù)從要素到資源的轉(zhuǎn)化，我們秉持一貫開源開放的理念，將WeBankBlockchain-Data面向社區(qū)和公眾完全開源，誠邀各行業(yè)伙伴攜手共建區(qū)塊鏈數(shù)據(jù)治理體系，為數(shù)據(jù)價值的全面釋放提供有效路徑。
在區(qū)塊鏈底層和區(qū)塊鏈應(yīng)用之間，橫亙著一條區(qū)塊鏈技術(shù)、業(yè)務(wù)和產(chǎn)品的鴻溝，存在著區(qū)塊鏈數(shù)據(jù)擴(kuò)容難度大、鏈上數(shù)據(jù)難以查詢和分析、典型場景缺乏通用化產(chǎn)品或組件支持等多種挑戰(zhàn)。區(qū)塊鏈節(jié)點服務(wù)器的磁盤快滿了，該怎么辦？微眾銀行區(qū)塊鏈對賬方案是怎么做的，有沒有通用的解決方案？……
為什么強(qiáng)大的區(qū)塊鏈還有這些問題呢？首先，隨著區(qū)塊鏈數(shù)據(jù)的“爆炸式”增長，鏈上已經(jīng)積累了億計的交易、幾T的數(shù)據(jù)，節(jié)點服務(wù)器逐漸無法滿足交易數(shù)據(jù)的存儲需求，單純對節(jié)點存儲空間進(jìn)行擴(kuò)容不僅開發(fā)成本高、硬件成本高，而且在數(shù)據(jù)擴(kuò)容過程中因技術(shù)要求較高，易引發(fā)系統(tǒng)性風(fēng)險，且不能一勞永逸地解決問題。另一方面，大量交易冷數(shù)據(jù)不僅浪費空間，而且會影響區(qū)塊鏈節(jié)點出塊和執(zhí)行交易的性能。其次，區(qū)塊鏈由于特定的鏈?zhǔn)酱鎯Y(jié)構(gòu)，鏈上數(shù)據(jù)只能通過智能合約接口的方式獲取和調(diào)用，不僅執(zhí)行效率低下，且隨著鏈上數(shù)據(jù)的增加，其查詢和計算性能逐級衰減，無法滿足大數(shù)據(jù)分析和復(fù)雜查詢的訴求，比如需要檢索已經(jīng)部署在鏈上的所有合約?；谔囟▓鼍暗臄?shù)據(jù)導(dǎo)出解決方案，由于智能合約存在較大差異，需要針對智能合約做特定開發(fā)，成本很高，不能復(fù)用。最后，基于區(qū)塊鏈的可信數(shù)據(jù)缺乏通用的產(chǎn)品和可復(fù)用的組件，部分場景之間存在類似的需求，比如業(yè)務(wù)對賬、區(qū)塊鏈瀏覽器、業(yè)務(wù)分析、監(jiān)管審計等。不同項目之間存在著大量重復(fù)的開發(fā)，費時費力，同時區(qū)塊鏈應(yīng)用的開發(fā)者完成工作目標(biāo)需要經(jīng)歷陡峭的學(xué)習(xí)曲線，還可能在開發(fā)、測試中引入各類風(fēng)險。WeBankBlockchain-Data 從底層數(shù)據(jù)存儲層、智能合約數(shù)據(jù)解析層和應(yīng)用層等多個層次入手，提供區(qū)塊鏈數(shù)據(jù)挖掘、裁剪、擴(kuò)容、可信存儲、抽取、分析、審計、對賬、監(jiān)管等數(shù)據(jù)治理方面的關(guān)鍵能力，滿足數(shù)據(jù)治理全流程開發(fā)場景的需求，如下圖所示：區(qū)塊鏈數(shù)據(jù)經(jīng)過區(qū)塊鏈共識節(jié)點的多方共識，一旦生成就不會被修改。在運維層，區(qū)塊鏈的歷史區(qū)塊數(shù)據(jù)可被數(shù)據(jù)倉庫組件完整或部分導(dǎo)出到本地。作為可信存儲鏡像，導(dǎo)出的數(shù)據(jù)僅在本地有效，被修改不會影響鏈上共識。我們建議使用方建立管理方法，限制對本地數(shù)據(jù)的修改。在應(yīng)用數(shù)據(jù)層，數(shù)據(jù)導(dǎo)出組件支持導(dǎo)出源數(shù)據(jù)、初步解析和基于合約解析的多維數(shù)據(jù)。所有參與者均可部署自己的導(dǎo)出服務(wù)，作為本地查詢或分析的可信數(shù)據(jù)源。在業(yè)務(wù)層，業(yè)務(wù)對賬組件支持機(jī)構(gòu)內(nèi)外部對鏈上鏈下業(yè)務(wù)數(shù)據(jù)進(jìn)行對賬。數(shù)據(jù)治理通用組件包含哪些子組件？目前，WeBankBlockchain-Data由數(shù)據(jù)倉庫組件(Data-Stash)、數(shù)據(jù)導(dǎo)出組件(Data-Export)、數(shù)據(jù)對賬組件(Data-Reconcile)三個相互獨立、可插拔、可靈活組裝的組件構(gòu)成，后續(xù)會根據(jù)業(yè)務(wù)和場景訴求提供更多的功能和解決方案子組件。??數(shù)據(jù)倉庫組件Data-StashData-Stash為區(qū)塊鏈底層平臺FISCO BCOS提供節(jié)點數(shù)據(jù)擴(kuò)容、備份、裁剪及快速同步的能力。用戶可基于Binlog協(xié)議同步區(qū)塊鏈底層節(jié)點全量數(shù)據(jù)，實現(xiàn)冷熱數(shù)據(jù)分離，支持?jǐn)帱c續(xù)傳、數(shù)據(jù)可信驗證，并提供快速同步機(jī)制，助力FISCO BCOS輕松應(yīng)對節(jié)點海量數(shù)據(jù)的運維場景。??數(shù)據(jù)導(dǎo)出組件Data-ExportData-Export支持將鏈上數(shù)據(jù)導(dǎo)出到MySQL、ES等便于進(jìn)行大數(shù)據(jù)處理的存儲介質(zhì)中，解決區(qū)塊鏈數(shù)據(jù)復(fù)雜查詢、分析和處理的問題。開發(fā)者幾乎無需編碼，只需要簡單配置，即可實時導(dǎo)出個性化的業(yè)務(wù)數(shù)據(jù)，提升二次開發(fā)的效率，降低開發(fā)成本。同時，Data-Export支持分庫分表、多活部署、兼容分布式存儲系統(tǒng)等特性，具備金融級高并發(fā)、高可用、支持海量數(shù)據(jù)導(dǎo)出的能力。??數(shù)據(jù)對賬組件Data-ReconcileData-Reconcile抽象了交易系統(tǒng)的通用對賬流程，提供靈活可配置的區(qū)塊鏈數(shù)據(jù)對賬解決方案，支持自定義對賬數(shù)據(jù)和對賬格式，支持定時對賬和觸發(fā)對賬任務(wù)，提供多種擴(kuò)展點，以便對賬處理模塊二次開發(fā)。需要指出的是，Data-Reconcile不僅適用于狹義上的交易對賬，而且適用于任何需要進(jìn)行數(shù)據(jù)核對的業(yè)務(wù)場景。企業(yè)級區(qū)塊鏈應(yīng)用存在多元化角色參與，諸如業(yè)務(wù)角色、運營人員、開發(fā)角色、運維角色等。針對區(qū)塊鏈數(shù)據(jù)，每一個特定的角色都有著不同的數(shù)據(jù)治理訴求。WeBankBlockchain-Data分別從區(qū)塊鏈底層節(jié)點數(shù)據(jù)維護(hù)、應(yīng)用數(shù)據(jù)處理和業(yè)務(wù)數(shù)據(jù)應(yīng)用三個維度，抽象、設(shè)計了對應(yīng)的組件來滿足不同角色的對數(shù)據(jù)治理的需求。? 場景1：節(jié)點數(shù)據(jù)維護(hù)數(shù)據(jù)倉庫組件Data-Stash是一款針對區(qū)塊鏈節(jié)點數(shù)據(jù)處理的輕量化、高安全、高可用組件，主要面向運維人員和開發(fā)人員。數(shù)據(jù)備份：Data-Stash可以通過Binlog協(xié)議對區(qū)塊鏈節(jié)點數(shù)據(jù)進(jìn)行準(zhǔn)實時全量備份，區(qū)塊鏈節(jié)點可以根據(jù)實際情況進(jìn)行冷熱數(shù)據(jù)裁剪和分離，在確保數(shù)據(jù)安全可信的基礎(chǔ)上，解決節(jié)點擴(kuò)容問題，降低開發(fā)和硬件成本。在解決節(jié)點擴(kuò)容問題的同時，可以使得節(jié)點“輕裝上陣”，不僅能夠減少節(jié)點空間的開銷，而且能夠有效提升節(jié)點執(zhí)行交易的性能。數(shù)據(jù)同步：對于加入?yún)^(qū)塊鏈網(wǎng)絡(luò)的新節(jié)點，可以通過Data-Stash，在Fisco Sync工具的配合下，快速同步區(qū)塊鏈網(wǎng)絡(luò)的數(shù)據(jù)，確保節(jié)點以最快的速度參與到區(qū)塊鏈網(wǎng)絡(luò)的“工作”中，降低新節(jié)點因等待數(shù)據(jù)同步而造成的時間浪費。??場景2：應(yīng)用數(shù)據(jù)處理數(shù)據(jù)導(dǎo)出組件Data-Export 提供了導(dǎo)出的區(qū)塊鏈標(biāo)準(zhǔn)數(shù)據(jù)、自動基于智能合約代碼智能分析而生成的定制數(shù)據(jù)，存儲到MySQL和ElasticSearch等存儲介質(zhì)中，主要面向開發(fā)人員。復(fù)雜查詢與分析：現(xiàn)有區(qū)塊鏈對查詢功能不太友好，且鏈上計算非常寶貴，Data-Export支持將鏈上存儲的區(qū)塊鏈數(shù)據(jù)導(dǎo)出到鏈下的分布式存儲系統(tǒng)中。開發(fā)者可以基于已導(dǎo)出的區(qū)塊鏈系統(tǒng)基礎(chǔ)數(shù)據(jù)，智能合約部署合約賬戶、事件和函數(shù)等數(shù)據(jù)，進(jìn)行二次開發(fā)，定制復(fù)雜查詢和數(shù)據(jù)分析的邏輯，快速實現(xiàn)業(yè)務(wù)需求。例如，開發(fā)者可對交易明細(xì)根據(jù)業(yè)務(wù)邏輯進(jìn)行統(tǒng)計和關(guān)聯(lián)查詢分析，開發(fā)各類反洗錢和審計監(jiān)管報表等等。區(qū)塊鏈數(shù)據(jù)可視化：Data-Export會自動生成Grafana的配置文件，無需開發(fā)，即可實現(xiàn)區(qū)塊鏈數(shù)據(jù)可視化。區(qū)塊鏈數(shù)據(jù)可視化不僅能夠作為區(qū)塊鏈數(shù)據(jù)大盤、數(shù)據(jù)查看、運營分析的工具，同時也可以運用在應(yīng)用開發(fā)、調(diào)試、測試階段，以可見即可得的方式提升研發(fā)體驗和效率。此外，Data-Export還提供了Restful API供外部系統(tǒng)集成。運維人員可以通過Grafana實時監(jiān)控業(yè)務(wù)系統(tǒng)的狀態(tài)，業(yè)務(wù)人員可以在集成后的業(yè)務(wù)后臺系統(tǒng)上獲得該業(yè)務(wù)的實時進(jìn)展。區(qū)塊鏈中間件平臺WeBASE的數(shù)據(jù)導(dǎo)出子系統(tǒng)已經(jīng)整合了Data-Export，同時，Data-Export也可以獨立與區(qū)塊鏈底層集成，以靈活地支持業(yè)務(wù)需求，迄今已在數(shù)十個生產(chǎn)系統(tǒng)中穩(wěn)定、安全運行。如今，Data-Export作為區(qū)塊鏈數(shù)據(jù)治理的關(guān)鍵組件，以開源形式發(fā)布，由社區(qū)伙伴通力完善，以適應(yīng)更多的使用場景、打造更多的功能。??場景3：業(yè)務(wù)數(shù)據(jù)應(yīng)用在業(yè)務(wù)層，數(shù)據(jù)對賬是區(qū)塊鏈交易系統(tǒng)中最常見的場景之一?；跀?shù)個區(qū)塊鏈DAPP應(yīng)用的開發(fā)和實踐經(jīng)驗，我們封裝和開發(fā)了數(shù)據(jù)對賬組件Data-Reconcile，提供基于區(qū)塊鏈智能合約賬本的通用化數(shù)據(jù)對賬解決方案，并提供了一套可動態(tài)延展的對賬框架，支持定制化開發(fā)，主要面向開發(fā)人員，為業(yè)務(wù)人員提供服務(wù)。企業(yè)內(nèi)部對賬：Data-Reconcile支持企業(yè)內(nèi)部系統(tǒng)之間的對賬，例如區(qū)塊鏈鏈上數(shù)據(jù)與鏈下業(yè)務(wù)系統(tǒng)之間的對賬。開發(fā)人員可以利用Data-Reconcile快速進(jìn)行二次開發(fā)，將業(yè)務(wù)系統(tǒng)數(shù)據(jù)和鏈上數(shù)據(jù)進(jìn)行核算比對，保證了企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)的可靠和運行安全。企業(yè)間對賬：Data-Reconcile可以幫助開發(fā)者快速構(gòu)建跨機(jī)構(gòu)間的對賬應(yīng)用系統(tǒng)。例如，在結(jié)算時，A企業(yè)定期將自身業(yè)務(wù)系統(tǒng)交易數(shù)據(jù)導(dǎo)出為對賬文件，發(fā)送至與文件存儲中心。B企業(yè)可借助Data-Reconcile定期拉取A企業(yè)對賬文件，配合Data-Export，與企業(yè)內(nèi)部的鏈上數(shù)據(jù)進(jìn)行對賬處理。Data-Reconcile在保證對賬結(jié)果可信的同時提升了對賬的效率，可實現(xiàn)準(zhǔn)實時對賬。綜上所述，WeBankBlockchain-Data 是一套穩(wěn)定、高效、安全的立體化區(qū)塊鏈數(shù)據(jù)治理解決方案，旨在通過提供一系列相互獨立、可插拔、可靈活組裝的組件，應(yīng)對和處理區(qū)塊鏈海量數(shù)據(jù)的問題，為用戶帶來更加便捷、簡單、低成本和輕量化的用戶體驗，從而推動區(qū)塊鏈數(shù)據(jù)治理的發(fā)展。github代碼庫地址：
Data-Stash 數(shù)據(jù)倉庫組件https://github.com/WeBankBlockchain/Data-Stash
Data-Export 數(shù)據(jù)導(dǎo)出組件https://github.com/WeBankBlockchain/Data-Export
Data-Reconcile 數(shù)據(jù)對賬組件https://github.com/WeBankBlockchain/Data-Reconcilegitee代碼庫地址：
Data-Stash 數(shù)據(jù)倉庫組件https://gitee.com/WeBankBlockchain/Data-Stash
Data-Export 數(shù)據(jù)導(dǎo)出組件https://gitee.com/WeBankBlockchain/Data-Export
Data-Reconcile 數(shù)據(jù)對賬組件https://gitee.com/WeBankBlockchain/Data-Reconcile文檔地址：
Data-Stash 數(shù)據(jù)倉庫組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Stash/index.html
Data-Export 數(shù)據(jù)導(dǎo)出組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html
Data-Reconcile 數(shù)據(jù)對賬組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Reconcile/index.html歡迎參與WeBankBlockchain的社區(qū)建設(shè)：
最后，還有個小小的彩蛋：微眾銀行區(qū)塊鏈計劃開放更多的區(qū)塊鏈通用組件，鏈治理組件和通用智能合約庫組件即將火熱來襲，敬請期待：）
