騰訊數(shù)字政務云端系列直播 TDSQL助力建設數(shù)字政務
近年來,從國家到地方都在積極探索政府數(shù)字化轉(zhuǎn)型之路。當前,數(shù)字政府改革建設任務已經(jīng)從“從無到有”的探索時期,逐漸轉(zhuǎn)變?yōu)?strong>“量變帶來質(zhì)變”的優(yōu)化時期。?從建設內(nèi)容看,一體化政務服務平臺相關(guān)建設目前已進入了平臺互聯(lián)互通和提質(zhì)增效的深化建設階段。
本文是騰訊云數(shù)據(jù)庫高級工程師余超在《騰訊數(shù)字政務云端系列直播》的演講實錄,將帶大家共同探索數(shù)字政務行業(yè)發(fā)展趨勢、前沿技術(shù)和TDSQL技術(shù)實踐,感受分布式數(shù)據(jù)庫的技術(shù)之美。
數(shù)字政務行業(yè)發(fā)展趨勢
大家好,我是騰訊云國產(chǎn)數(shù)據(jù)庫產(chǎn)品中心的余超,目前主要負責政務行業(yè)、國大行等重大項目數(shù)據(jù)庫方案設計和產(chǎn)品交付工作。
我們先來分析政務行業(yè)的發(fā)展趨勢。先看一組數(shù)據(jù),截至2019年12月,31個省級政府構(gòu)建了覆蓋省、市、縣三級以上政務服務平臺。29個省級政務服務平臺開通了“一件事”集成服務專區(qū)。中國在線政務服務,用戶規(guī)模正在不斷擴大,用戶規(guī)模達到6.96億,占整個網(wǎng)民比例的76.8%。
目前,全國已開通29個省級小程序,12+部委開通官方小程序,全國范圍政務小程序已有6萬個。其中,在省級行政許可事項中,98%事項實現(xiàn)網(wǎng)上可查,82%事項實現(xiàn)網(wǎng)上受理和“最多跑一次”。
當前主要業(yè)務需求挑戰(zhàn)
上面的數(shù)據(jù)表明我們的政府正在全面進行以人民為中心的發(fā)展理念,所有的職能法規(guī)都圍繞兩個重心:一是民生,進一步提高人民群眾的獲得感和幸福感;二是效率,加快建設服務型政府,提高政府的辦事效率。我們在“十四五”的規(guī)劃里面,也可以看到這些關(guān)鍵字,比如一網(wǎng)通辦、異地可辦、跨區(qū)通辦、全國一本賬、自主可控。
???
為了實現(xiàn)這些目標我們政府部門提出了新的業(yè)務需求,首先通過建設“一體化政務服務平臺”,從業(yè)務角度整合跨部門的業(yè)務流程和數(shù)據(jù),連通不同的應用系統(tǒng),實現(xiàn)一網(wǎng)通辦。通過提供“線上政務服務”,盡可能的把線下服務搬到線上,讓企業(yè)和個人足不出戶,通過一系列的線上服務來辦理各種手續(xù)。通過“業(yè)務向省、市或者部級集中”的方式,來實現(xiàn)跨區(qū)域辦理。建設全國性或部級統(tǒng)籌平臺,建立覆蓋全民、城鄉(xiāng)統(tǒng)籌、公平高效的資源規(guī)劃體系。最后采用國產(chǎn)化軟硬件替換核心應用的方式,真正實現(xiàn)業(yè)務系統(tǒng)的自主可控。
為了滿足這些業(yè)務需求,也對信息系統(tǒng)提出了更高的技術(shù)要求,不管是一體化平臺還是業(yè)務集中,都需要把我們的業(yè)務進行整合,把數(shù)據(jù)進行集中,但是這樣帶來的結(jié)果是大量的數(shù)據(jù)和業(yè)務壓力,而傳統(tǒng)的集中式采購在應對這些高并發(fā)數(shù)據(jù)場景,要么采用比較昂貴以及封閉的小機,要么垂直擴容,擴CP、擴內(nèi)存,但是單機的擴存能力有限。
所以在做架構(gòu)設計和系統(tǒng)開發(fā)的時候也會遇到一些挑戰(zhàn),比如相比集中式數(shù)據(jù)庫,分布式數(shù)據(jù)庫在使用中有哪些最佳實踐?在什么樣的情況下要采用分布式數(shù)據(jù)庫,每個分庫能放多少數(shù)據(jù)、能處理多少業(yè)務?作為系統(tǒng)核心的數(shù)據(jù)庫,我們要怎么做高可靠設計?同時如何保證數(shù)據(jù)同步的實時性以及異構(gòu)系統(tǒng)之間怎么遷移應用和數(shù)據(jù)?這都是我們需要面對的問題。
TDSQL行業(yè)解決方案
國產(chǎn)化的大趨勢下,也涌現(xiàn)出很多優(yōu)秀的國產(chǎn)分布式數(shù)據(jù)庫,在面對眾多數(shù)據(jù)庫產(chǎn)品的時候,客戶怎樣選擇一款適合自己的數(shù)據(jù)庫產(chǎn)品呢?
以往傳統(tǒng)的集中式數(shù)據(jù)庫都是技術(shù)來支撐業(yè)務,常常都是傳統(tǒng)廠商引領技術(shù)方向,但在互聯(lián)網(wǎng)時代,海量數(shù)據(jù)高并發(fā)的訪問需求,集中式已經(jīng)無法滿足這個需求。反而往往因為業(yè)務而驅(qū)動對分布式數(shù)據(jù)庫的需求,我們會發(fā)現(xiàn)分布式技術(shù)用得最好的地方往往是互聯(lián)網(wǎng)企業(yè),尤其是中國互聯(lián)網(wǎng)發(fā)展比較好的地方。
而如果要全面實現(xiàn)“一網(wǎng)通辦”和異地可辦,順應政府數(shù)字化轉(zhuǎn)型,還需考慮網(wǎng)上政務服務平臺具有用戶訪問彈性大、峰值訪問并發(fā)高、讀寫數(shù)據(jù)量大、系統(tǒng)可用性要求高等特點。?騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL因其良好的彈性擴展能力、超高的性能、超大數(shù)據(jù)量、5個9以上可用性等特點,也贏得了各地政府信息中心的青睞和使用。
關(guān)于數(shù)據(jù)庫的高可用,政務行業(yè)有些業(yè)務對高可用有更多的需求,在數(shù)據(jù)庫的高可用方面,TDSQL具備以下能力:
提供多項不同維度的監(jiān)控指標,全方位監(jiān)控不同組件的運行狀態(tài),同時還能根據(jù)業(yè)務情況,自定義監(jiān)控規(guī)則,盡早發(fā)現(xiàn)高可用隱患,及時處理。
同時也提供自動化處理能力,比如自動檢測異常,能主動發(fā)現(xiàn)異常,確定故障后,TDSQL能自動化的處理,能快速實現(xiàn)主動切換,而且能夠自動更新路由,整個過程不需要人為干預。
另外TDSQL能夠在每個部件里面都有冗余設計,避免任何單點故障。擁有多層級的高可用設計,比如進程級保護,軟件進程異常中斷后,有守護進程檢測,并嘗試拉起。磁盤RAID+數(shù)據(jù)多副本,確保數(shù)據(jù)的可靠;一主多從多副本,部署在不同機架的不同服務器上,應對服務器和機架機故障;多地多中心部署,可以應對機房級事故,以及區(qū)域級的災難事件,如地震、水災等。
特別是對于提供公共服務的業(yè)務,面向一個省,甚至全國的公眾,提供7*24小時服務,要求業(yè)務在1小時內(nèi)恢復服務,數(shù)據(jù)庫的RTO需要控制分鐘級。而對于一些計費類的金融服務,如醫(yī)療保險、養(yǎng)老保險等,要求同城RPO為0,數(shù)據(jù)0丟失。TDSQL能保證在1分鐘之內(nèi)完成故障切換,確保RTO在分鐘級,另外采用強同步復制之類的技術(shù),來保證主從數(shù)據(jù)完全一致。
政務行業(yè)創(chuàng)新實踐案例
接下來分享TDSQL在政務行業(yè)的幾個典型案例:
第七次全國人口普查
第七次全國人口普查采取電子化方式開展普查登記,實現(xiàn)了5個首次:?首次全面采用電子化,實時及時上報數(shù)據(jù)、首次實現(xiàn)普查對象通過互聯(lián)網(wǎng)自主填報、首次利用行政大數(shù)據(jù)進行比對核查、首次實現(xiàn)利用互聯(lián)網(wǎng)云計算云服務實時處理工作、首次用信息化系統(tǒng)對700多萬普查員進行線上管理。
在整個統(tǒng)計過程中,700萬普查員使用企業(yè)微信小程序進行數(shù)據(jù)采集,約一億人使用微信自主填報小程序進行信息錄入,海量數(shù)據(jù)全部實時入庫。與此同時,為了便于應對數(shù)據(jù)采集出現(xiàn)問題能夠在第二天及時補充采集、修正,系統(tǒng)同時需要快速完成對入庫數(shù)據(jù)的實時查詢分析。
?
據(jù)新華網(wǎng)統(tǒng)計報道,電子采集的方式將登記時間縮小到了20分鐘以內(nèi),很大程度上降低了后期數(shù)據(jù)錄入、處理的難度。700多萬G端混合負載業(yè)務、億級C端OLTP業(yè)務、海量的數(shù)據(jù)分析任務...本次全國人口普查項目,TDSQL提供了“OLTP+OLAP”雙引擎融合的企業(yè)級分布式數(shù)據(jù)庫管理系統(tǒng)TDSQL,平穩(wěn)、高效支撐第七次全國人口普查工作順利完成。
在這些龐大的數(shù)據(jù)中,不乏多張超級大表關(guān)聯(lián)高并發(fā)統(tǒng)計查詢,其每張表中存放超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍,可以放下超過1000萬本,一個人終其一生也讀不完。
規(guī)模浩瀚的人口普查工作,系統(tǒng)業(yè)務架構(gòu)復雜、并發(fā)度高,在災備設計、高可用能力保障上,整個數(shù)據(jù)庫采用了一主三從、強同步復制和異地災備的備份方案,在某個數(shù)據(jù)節(jié)點出現(xiàn)故障時,都能保證數(shù)據(jù)的完整和一致。哪怕出現(xiàn)大規(guī)模的突發(fā)情況,通過異地災備,也能夠進行數(shù)據(jù)恢復。
數(shù)字廣東
數(shù)字廣東是在2017年廣東省在全國率先啟動數(shù)字政府的改革,所以數(shù)字廣東是在2017年7月開始建設和運營,到現(xiàn)在是一個兩地三中心的省級政務平臺和數(shù)據(jù)庫應用平臺。
整個規(guī)模非常龐大,整個數(shù)據(jù)里面用到騰訊多個數(shù)據(jù)庫場景,關(guān)系數(shù)據(jù)庫主要為TDSQL、事務性和分析型,而MySQL和TDSQL有超過一萬個核,數(shù)據(jù)的存儲量已經(jīng)超過1.3TB,分析型的CPU也是超過了兩萬七千核,數(shù)據(jù)的儲存量已經(jīng)超過了420T。里面覆蓋了多種政務場景,比如基于高并發(fā)應用的粵省事,基于分析型應用的政務大數(shù)據(jù)中心,workflow應用廣東政務服務網(wǎng),綜合型應用粵商通、粵政易。
???
江蘇人社一體化信息平臺
江蘇省是人口大省,江蘇省人力資源和社會保障廳(下文簡稱“江蘇人社”)要服務近8000萬常住人口、近300萬家企事業(yè)單位。在信息一體化進程上,江蘇選擇了騰訊云數(shù)據(jù)庫TDSQL為底座,打造“智慧人社”的標桿案例。江蘇人社一體化信息平臺,是人力資源和社會保障部首個leaf6.2框架省級試點。
?
平臺采用騰訊開放技術(shù)框架建設,結(jié)合云底座、技術(shù)中臺和數(shù)據(jù)庫等近30項產(chǎn)品,打造了服務全省的業(yè)務經(jīng)辦、行政審批和公共服務平臺。還涵蓋就業(yè)創(chuàng)業(yè)、社會保險、人才人事、勞動關(guān)系四大業(yè)務板塊,為人民群眾提供全面且便捷的暖心服務。
?
這是江蘇省首個全省一體化項目,不僅縱貫全省、市、縣、鄉(xiāng)、村五級人社部門,還涵蓋多個業(yè)務類別。不同于常規(guī)理解的政府系統(tǒng),人社系統(tǒng)中因為有一部分涉及社會保險、賬目和養(yǎng)老金發(fā)放的問題,該系統(tǒng)被定義為一個“金融級”系統(tǒng),所以對系統(tǒng)的穩(wěn)定性、一致性、性能要求特別高,復雜程度超出一般的政務系統(tǒng)。
?
騰訊云為江蘇人社提供了集中部署、統(tǒng)一管理、分層維護的大數(shù)據(jù)平臺,并基于企業(yè)級分布式數(shù)據(jù)庫TDSQL為人事系統(tǒng)、調(diào)度指揮、公共服務小程序、一體化檔案系統(tǒng)等關(guān)鍵業(yè)務系統(tǒng)構(gòu)建高性能可擴展、易運維的系統(tǒng)應用創(chuàng)新。
?
為確保數(shù)據(jù)安全和系統(tǒng)穩(wěn)定可靠,TDSQL提供了高可用多活的災備服務。通過對TB級系統(tǒng)數(shù)據(jù)的管理,大數(shù)據(jù)分析、開放共享、數(shù)據(jù)應用開發(fā)等,為省人社信息化建設提供多維度的數(shù)據(jù)服務支撐,實現(xiàn)金融級標準要求,極大提升了江蘇省人社政務辦公和服務的水平,為公眾辦理相關(guān)社保業(yè)務提供極大的便利。
再介紹幾個非政務行業(yè)的典型案例:
張家港農(nóng)商行
張家港農(nóng)商行新一代核心系統(tǒng)的國產(chǎn)化替換,張家港農(nóng)商行的核心業(yè)務最開始跑在IBM的小型機上,是一個集中式架構(gòu)。隨著業(yè)務的發(fā)展,原來的系統(tǒng)在性能和可用上已經(jīng)沒辦法滿足業(yè)務需求,所以他們當時要做改造,應用層和數(shù)據(jù)庫要改造。數(shù)據(jù)庫選用的時候最開始是在Oracle 和國產(chǎn)分布式數(shù)據(jù)庫做選擇,經(jīng)過多番對比測試最終選擇了TDSQL。在上線的時候為了穩(wěn)健,設計師用TDSQL支撐業(yè)務的同時,還搭了Oracle 的環(huán)境做備用,通過同步工具將TDSQL的數(shù)據(jù)同步到Oracle 里面去。
平安銀行
2020年10月30日,平安銀行的信用卡“A+”新核心系統(tǒng)成功投產(chǎn),它的底層是基于TDSQL、X86的云架構(gòu),這個核心系統(tǒng)的活躍的卡數(shù)量已經(jīng)超過六千萬,A+新核心系統(tǒng)是業(yè)界第一個將金融機構(gòu)核心業(yè)務系統(tǒng)由大型機集中式架構(gòu)遷移到PC服務器分布式架構(gòu)的成功案例。以TDSQL為核心的新一代信用卡“A+”系統(tǒng),它的處理能力相比以前來說提升了10倍,它的成本也降為原來的1/3。
目前,TDSQL已經(jīng)在政務行業(yè)多個領域應用實踐,而在未來,TDSQL也將持續(xù)助力各地各部門數(shù)字化轉(zhuǎn)型。
﹀
﹀
﹀

2021 QCon | 云數(shù)據(jù)庫技術(shù)探索與實踐專場等你赴約

首例“微服務+國產(chǎn)分布式數(shù)據(jù)庫”架構(gòu),TDSQL助力昆山農(nóng)商行換“心”

騰訊云TDSQL助力金融核心系統(tǒng)數(shù)字化轉(zhuǎn)型
