久其女媧數(shù)據(jù)治理平臺軟件配套服務(wù) 鯤鵬

久其女媧數(shù)據(jù)治理平臺搭建了一套集信息資源管理、數(shù)據(jù)建模、數(shù)據(jù)集成整合、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)共享交換于一體的全方位大數(shù)據(jù)治理平臺。
? 信息資源管理平臺
信息資源（Information?Resources）與人力、物力、財(cái)力和自然資源一樣，都是企業(yè)和政府的重要資源。信息資源管理（Information?Resource?Management,簡稱IRM）是企業(yè)和政府管理的必要環(huán)節(jié)，應(yīng)該納入企業(yè)和政府管理的預(yù)算。信息資源管理包括數(shù)據(jù)資源管理和信息處理管理。信息資源規(guī)劃（Information?Resource?Planning,簡稱IRP）是對政府和企業(yè)生產(chǎn)過程和經(jīng)營管理信息的采集、處理、傳輸、利用的全面規(guī)劃，是側(cè)重?cái)?shù)據(jù)流分析，為消除“信息孤島”和“信息煙囪”，實(shí)現(xiàn)信息資源整合與應(yīng)用系統(tǒng)集成，實(shí)現(xiàn)政企和企業(yè)內(nèi)外部數(shù)據(jù)共享和數(shù)據(jù)交換的總體規(guī)劃。
久其信息資源管理平臺，遵循信息資源規(guī)劃（IPR）方法論，可以實(shí)現(xiàn)對政府和企業(yè)的所有信息資產(chǎn)的管理和規(guī)劃，支持構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)；為現(xiàn)有應(yīng)用系統(tǒng)附加語義層描述，創(chuàng)建統(tǒng)一的、面向事務(wù)的數(shù)據(jù)資源目錄；基于數(shù)據(jù)資源目錄，創(chuàng)建面向業(yè)務(wù)的統(tǒng)一的信息資源目錄；可以結(jié)合數(shù)據(jù)中心，為所有數(shù)據(jù)提供索引管理，實(shí)現(xiàn)數(shù)據(jù)的分析、共享和交換。
久其信息資源管理平臺的主要特點(diǎn)如下：
? 可以實(shí)現(xiàn)從概念數(shù)據(jù)建模到邏輯數(shù)據(jù)模型的管理，即實(shí)現(xiàn)兩類資源目錄的管理和查看，一類為面向應(yīng)用系統(tǒng)的數(shù)據(jù)資源盤點(diǎn)目錄，一類為面向業(yè)務(wù)主題域支撐業(yè)務(wù)使用的信息資源目錄
? 以可視化、自動化、智能化的方式，實(shí)現(xiàn)數(shù)據(jù)資源目錄管理，即支持按照應(yīng)用系統(tǒng)進(jìn)行編目管理，賦予每個數(shù)據(jù)資源業(yè)務(wù)語義，可以快速從數(shù)據(jù)庫中生成資源目錄，并支持跟常用建模工具PowerDesigner、ERWin等無縫集成
? 數(shù)據(jù)資源目錄可管理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的各類數(shù)據(jù)資源
? 支持的數(shù)據(jù)來源包括所有JDBC連接的數(shù)據(jù)庫、文件目錄、HDFS、Hbase等，并可根據(jù)需要快速擴(kuò)展新的數(shù)據(jù)來源
? 信息資源目錄基于數(shù)據(jù)資源目錄重新進(jìn)行組織，并賦予更豐富的業(yè)務(wù)語義，同時支持對新資源的規(guī)劃設(shè)計(jì)
? 信息資源目錄管理提供數(shù)據(jù)編排功能，數(shù)據(jù)編排功能提供豐富的適配器，實(shí)現(xiàn)信息資源的進(jìn)一步加工處理
? 支持自定義資源的注冊流程、訂閱審批流程，保證資源共享交換的安全性
? 提供百科式的數(shù)據(jù)資源和信息資源瀏覽方式，展示方式清晰明了；同時界面右側(cè)提供浮動導(dǎo)航，可以快速定位到關(guān)注點(diǎn)
? 通過數(shù)據(jù)圖譜的方式進(jìn)行血緣關(guān)系追溯和關(guān)聯(lián)關(guān)系查詢，了解數(shù)據(jù)的來龍去脈
? 可以從多維度進(jìn)行數(shù)據(jù)資源和信息資源的統(tǒng)計(jì)和盤點(diǎn)
? 支持資源目錄重構(gòu)，不同角色的用戶從自己需要的角度構(gòu)建資源目錄樹
? 支持標(biāo)簽庫管理，自動生成每一個數(shù)據(jù)資源的全文索引，快速搜索并準(zhǔn)確定位到數(shù)據(jù)資源和信息資源
? 統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)管理，并提供全自動化數(shù)據(jù)質(zhì)量管控功能，實(shí)現(xiàn)數(shù)據(jù)治理
? 敏捷的可視化分析展現(xiàn)，實(shí)現(xiàn)資源的查詢和統(tǒng)計(jì)分析
? 支持?jǐn)?shù)據(jù)訂閱，按需推送訂閱信息
? 通用型平臺，數(shù)據(jù)資源和信息資源的屬性字段可以根據(jù)不同的客戶需求自定義擴(kuò)展，同時界面布局也可以自定義配置
? 數(shù)據(jù)建模平臺
數(shù)據(jù)模型是企業(yè)信息化的核心問題。通過數(shù)據(jù)建模定義整個企業(yè)信息化體系的數(shù)據(jù)標(biāo)準(zhǔn)，從根本上解決數(shù)據(jù)分散重復(fù)、口徑不一致、共享困難造成的信息孤島等問題，為數(shù)據(jù)的有效整合奠定堅(jiān)實(shí)的基礎(chǔ)，全面提升經(jīng)營決策、運(yùn)營管理的品質(zhì)。
久其大數(shù)據(jù)治理平臺提供了統(tǒng)一元數(shù)據(jù)建模工具，支持包括從底層數(shù)據(jù)倉庫到上層的數(shù)據(jù)集市，從多維數(shù)據(jù)模型到離散的指標(biāo)數(shù)據(jù)模型，從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)，再到普通二維表建模的全面支持，能夠構(gòu)建一套統(tǒng)一的數(shù)據(jù)視圖，為整合各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、實(shí)現(xiàn)跨業(yè)務(wù)領(lǐng)域分析打下堅(jiān)實(shí)的基礎(chǔ)。
久其數(shù)據(jù)建模平臺的主要特點(diǎn)如下：
? 全面的元數(shù)據(jù)管理，提供了從底層數(shù)據(jù)倉庫到上層的數(shù)據(jù)集市，從多維數(shù)據(jù)模型到普通二維表建模全面支持，為企業(yè)構(gòu)建了一套統(tǒng)一的數(shù)據(jù)視圖，這是企業(yè)整合各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、實(shí)現(xiàn)跨業(yè)務(wù)領(lǐng)域分析的基礎(chǔ)。
? 基于業(yè)務(wù)的語義層建模，使最終用戶不必再面對大量難于理解的底層技術(shù)概念，為上層的分析應(yīng)用提供了良好的支撐。
? 智能數(shù)據(jù)預(yù)處理，通過分析用戶的訪問習(xí)慣事先生成相關(guān)的聚合和中間計(jì)算結(jié)果數(shù)據(jù)，有力地保證了查詢分析功能的快速響應(yīng)。
? 統(tǒng)一的數(shù)據(jù)訪問接口，系統(tǒng)對外提供了自主研發(fā)的BQL和SOA兩種通用的數(shù)據(jù)訪問接口，從而實(shí)現(xiàn)了與第三方系統(tǒng)的業(yè)務(wù)交互：
? 支持自上而下的建模過程，使建模人員能夠從一開始就聚焦于應(yīng)用領(lǐng)域的業(yè)務(wù)需求和數(shù)據(jù)的業(yè)務(wù)含義，而不必過多地關(guān)心底層的技術(shù)實(shí)現(xiàn)細(xì)節(jié)，提高建模的效率和準(zhǔn)確性。
? 元數(shù)據(jù)與發(fā)布數(shù)據(jù)的邏輯分離，把數(shù)據(jù)建模過程與實(shí)際應(yīng)用過程相分離，互不影響。
? 基于事務(wù)的部署模式，使得部署過程安全可靠，不會因?yàn)殄e誤的參數(shù)而破壞生產(chǎn)環(huán)境的數(shù)據(jù)。
? 數(shù)據(jù)集成與整合平臺
久其數(shù)據(jù)集成與整合平臺是基于大數(shù)據(jù)技術(shù)的、對異構(gòu)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取、清洗、轉(zhuǎn)換和加載的數(shù)據(jù)集成工具，產(chǎn)品集成了久其公司在數(shù)據(jù)處理領(lǐng)域多年的技術(shù)經(jīng)驗(yàn)，同時在海量數(shù)據(jù)處理技術(shù)方法上又進(jìn)行了大量探索與突破，實(shí)現(xiàn)了一個高效、靈活的數(shù)據(jù)集成平臺。
久其數(shù)據(jù)集成與整合平臺主要特點(diǎn)如下：
? 完備的數(shù)據(jù)源和目標(biāo)的支持，包括關(guān)系型數(shù)據(jù)庫（支持常用的數(shù)據(jù)庫如oracle、mysql、sqlserver以及其他支持jdbc協(xié)議的數(shù)據(jù)庫），文本文件（分隔符文本、定長文本等格式），其他數(shù)據(jù)文件（excel、xml、json等），常用的網(wǎng)絡(luò)協(xié)議（HTTP/HTTPS、FTP/FTPS、webservices），以及其他常用的業(yè)務(wù)系統(tǒng)數(shù)據(jù)源。
? 豐富的任務(wù)及適配器組件，常用的任務(wù)主要包括：數(shù)據(jù)流任務(wù)、文件操作任務(wù)、FTP任務(wù)、郵件任務(wù)、SQL任務(wù)、存儲過程任務(wù)、Hadoop工具相關(guān)任務(wù)等。常用的適配器組件主要包括：SQL輸入、數(shù)據(jù)庫輸出、文本輸入、文本輸出、excel行浮動輸入、excel交叉浮動輸入、計(jì)算字段、查找、過濾、關(guān)聯(lián)、分組、轉(zhuǎn)置適配器等。對于不常見的業(yè)務(wù)邏輯，產(chǎn)品提供了插件式的可擴(kuò)展機(jī)制，允許開發(fā)人員針對產(chǎn)品進(jìn)行二次開發(fā)，在不需要重新對產(chǎn)品進(jìn)行編譯的情況下，將擴(kuò)展的任務(wù)或者適配器組件添加到產(chǎn)品中，并集成到現(xiàn)有ETL流程中。
? 體系化的異常處理機(jī)制，可以處理數(shù)據(jù)集成和整合過程的各種數(shù)據(jù)錯誤和程序異常。系統(tǒng)中的異常處理包括三個層面：系統(tǒng)運(yùn)行時異常、元數(shù)據(jù)配置異常、業(yè)務(wù)數(shù)據(jù)異常
? 統(tǒng)一的公式描述體系，久其公式引擎是久其自主研發(fā)的新一代公式處理器，采用類Excel語法，與Excel函數(shù)基本保持一致，對于熟悉Excel的使用者來說可以輕松上手。同時公式引擎能夠自動適配所有關(guān)系型數(shù)據(jù)庫，并將大部分公式轉(zhuǎn)化為數(shù)據(jù)庫SQL直接執(zhí)行。公式引擎內(nèi)置六大類近百個函數(shù)支持，包括字符串操作、數(shù)值運(yùn)算、日期計(jì)算、數(shù)據(jù)容錯、模糊匹配、二進(jìn)制處理等各種操作場景都可以支持。
? 靈活的流程調(diào)度模式，平臺提供了多種流程調(diào)度模式，包括按時間觸發(fā)、按文件觸發(fā)、按狀態(tài)觸發(fā)、按流程觸發(fā)等，以滿足項(xiàng)目對流程自動化的需求?；诹鞒套詣踊瘜?shí)現(xiàn)的系統(tǒng)可以真正實(shí)現(xiàn)自動自發(fā)、無人值守。
? 跨防火墻的數(shù)據(jù)提取方案，平臺通過數(shù)據(jù)代理提供了跨防火墻數(shù)據(jù)提取的能力，解決了在分布式數(shù)據(jù)提取環(huán)境下防火墻對數(shù)據(jù)傳輸?shù)挠绊憽?br/>? 腳本調(diào)用支持，平臺可以調(diào)用系統(tǒng)的批處理文件以及shell腳本，使ETL流程與操作系統(tǒng)的任務(wù)和命令進(jìn)行交互，同時ETL流程下的環(huán)境（比如參數(shù)）也能傳遞到腳本中。同時還支持基于標(biāo)準(zhǔn)Javascript腳本引擎，允許開發(fā)人員通過寫腳本的方式快速的將業(yè)務(wù)邏輯整合到流程中。
? REST服務(wù)集成，平臺提供了restful形式的API，第三方系統(tǒng)可以通過API來調(diào)用ETL流程進(jìn)行集成。
? 并行計(jì)算及大數(shù)據(jù)的支持，平臺提供分布式部署模式，提供對密集計(jì)算任務(wù)的分布式并行計(jì)算機(jī)制。合了Spark內(nèi)存計(jì)算引擎，可以輕松應(yīng)對海量數(shù)據(jù)的清洗和轉(zhuǎn)換操作，以解決擁有大規(guī)模密集的計(jì)算任務(wù)的需求。
? 數(shù)據(jù)質(zhì)量稽核平臺
數(shù)據(jù)稽核是從業(yè)務(wù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)或者業(yè)務(wù)數(shù)據(jù)之間的關(guān)系出發(fā)，通過信息化手段對業(yè)務(wù)數(shù)據(jù)的完整性、準(zhǔn)確性、合理性等進(jìn)行檢查和評估，揭示數(shù)據(jù)存在的問題和潛在風(fēng)險(xiǎn)。
久其數(shù)據(jù)質(zhì)量稽核平臺，可以實(shí)現(xiàn)閉環(huán)的數(shù)據(jù)治理和管控：從源系統(tǒng)數(shù)據(jù)獲取數(shù)據(jù)???數(shù)據(jù)稽核???產(chǎn)生稽核結(jié)果???生成標(biāo)準(zhǔn)化稽核報(bào)告、預(yù)警郵件和短信???分發(fā)稽核報(bào)告、預(yù)警郵件和短信???形成待辦事項(xiàng)???處理待辦事項(xiàng)???修正源系統(tǒng)數(shù)據(jù)。
數(shù)據(jù)質(zhì)量稽核平臺共有九大功能特點(diǎn)：
? 可以自定義稽核模型（稽核對象、稽核周期、稽核規(guī)則、稽核數(shù)據(jù)存儲）
? 通過稽核目錄、稽核模型、稽核對象可以自定義數(shù)據(jù)稽核體系
? 以語義化的方式描述稽核規(guī)則，無需編寫SQL
? 分布式稽核任務(wù)并發(fā)執(zhí)行：按照稽核周期執(zhí)行稽核任務(wù)，支持將多個稽核任務(wù)分發(fā)到各個服務(wù)器上進(jìn)行并發(fā)執(zhí)行
? 可以生成圖文并茂的標(biāo)準(zhǔn)化稽核報(bào)告
? 可以將稽核預(yù)警信息以郵件、短信的方式進(jìn)行推送，并生成待辦事項(xiàng)
? 可以接收代辦事項(xiàng)，并在線處理和審閱代辦事項(xiàng)
? 自動生成統(tǒng)計(jì)分析圖表，展示每次數(shù)據(jù)稽核的概覽情況和分項(xiàng)情況
? 支持定義考核指標(biāo)考評數(shù)據(jù)治理情況，包括數(shù)據(jù)質(zhì)量和工作質(zhì)量
? 數(shù)據(jù)共享交換平臺
久其數(shù)據(jù)共享交換平臺是在保持相對獨(dú)立性、松耦合的前提下，將分散建設(shè)的若干應(yīng)用信息系統(tǒng)，通過數(shù)據(jù)共享交換平臺建立起系統(tǒng)間點(diǎn)對點(diǎn)的信息高速通道，從而實(shí)現(xiàn)分布、異構(gòu)的應(yīng)用子系統(tǒng)間信息/數(shù)據(jù)的實(shí)時、高效、安全的數(shù)據(jù)共享與交換，且在數(shù)據(jù)傳輸過程中支持集成協(xié)議轉(zhuǎn)換、加密、壓縮、交換過程監(jiān)控等功能保證數(shù)據(jù)的有效交換。具體功能包括：
? 統(tǒng)一的數(shù)據(jù)資源管理，支持?jǐn)?shù)據(jù)目錄、數(shù)據(jù)訂閱、用戶權(quán)限、數(shù)據(jù)審批流程等功能
? 多樣的數(shù)據(jù)源和目標(biāo)，支持多種類型的數(shù)據(jù)源和數(shù)據(jù)目標(biāo)，包括不同類型的數(shù)據(jù)庫、文件目錄等
? 安全高效的傳輸與交換，實(shí)現(xiàn)數(shù)據(jù)在不同數(shù)據(jù)源和目標(biāo)應(yīng)用之間的高效、安全、可靠的傳輸和交換
? 豐富的交換模式，支持豐富的數(shù)據(jù)接口模式，包括數(shù)據(jù)庫、文件、REST?API、ESB、消息中間件等
? 支持?jǐn)?shù)據(jù)服務(wù)，通過虛擬數(shù)據(jù)API無須原廠商參與，即可快速完成數(shù)據(jù)資源的注冊、管理和交換
? 靈活的數(shù)據(jù)轉(zhuǎn)換，支持豐富的數(shù)據(jù)適配器及全圖形化的配置界面，實(shí)現(xiàn)在數(shù)據(jù)傳輸過程對數(shù)據(jù)進(jìn)行適當(dāng)?shù)那逑春娃D(zhuǎn)換
? 完整的過程監(jiān)控：支持對數(shù)據(jù)傳輸過程的監(jiān)控、管理和調(diào)度，包括CPU、內(nèi)存、日志、計(jì)劃任務(wù)等
? 快速應(yīng)用：支持多種形式拓?fù)浣Y(jié)構(gòu)部署，支持快速部署、實(shí)施和管理