在“20年代”的第一年，2020年，每一個技術(shù)領(lǐng)域，也有自己的一個關(guān)鍵事件回顧或一個關(guān)鍵節(jié)點(diǎn)暢想。回望過去，在數(shù)據(jù)技術(shù)領(lǐng)域發(fā)生了許多有意義的標(biāo)志性事件。全球數(shù)據(jù)量在2019達(dá)41ZB，2020年預(yù)估到50ZB，這是國際權(quán)威機(jī)構(gòu)Statista的統(tǒng)計(jì)和預(yù)測，這個數(shù)據(jù)量可以說大得驚人，也對數(shù)據(jù)技術(shù)提出了更高的要求。

站在新的一個十年，阿里數(shù)據(jù)各細(xì)分領(lǐng)域?qū)＜乙黄饋砉餐仡櫢鱾€領(lǐng)域的過去、展望未來，圍繞數(shù)據(jù)生命周期，分別從數(shù)據(jù)的采集、建設(shè)、管理、計(jì)算到應(yīng)用進(jìn)行了未來數(shù)據(jù)技術(shù)趨勢的展望。

• 采集端計(jì)算：在5G和IoT時代流量數(shù)據(jù)還將會爆炸式增長，未來如何在有限的服務(wù)器&計(jì)算資源的情況下保障數(shù)據(jù)采集的正常運(yùn)轉(zhuǎn)將會是一個核心問題。其中的一個探索方向?qū)⑹嵌擞?jì)算，通過將算法模型、數(shù)據(jù)壓縮、數(shù)據(jù)過濾、反作弊等部署在終端，從而顯著降低網(wǎng)絡(luò)和服務(wù)端以及計(jì)算集群的壓力。

• 大數(shù)據(jù)采集法律法規(guī)建設(shè)：可能需要從3個方面入手：1. 清晰規(guī)定可以采集和不可以采集的數(shù)據(jù)；2. 明確規(guī)定不可以使用的采集技術(shù)，以及每種采集技術(shù)合法使用的量化指標(biāo)；3. 違法行為的追究范圍和標(biāo)準(zhǔn)。

基于模型的開發(fā)模式將成為主流，流批一體將從引擎層上升到平臺層，數(shù)據(jù)處理的粒度會更加精細(xì)。

• 基于模型的開發(fā)模式將成為主流：大數(shù)據(jù)開發(fā)的門檻進(jìn)一步降低，用戶不在需要編寫復(fù)雜的SQL代碼，只需要聚焦在數(shù)據(jù)模型的開發(fā)上。

• 流批一體將從引擎層上升到平臺層：流批一體不在局限于引擎層，而上在平臺層有著實(shí)際的業(yè)務(wù)場景支持。

• 數(shù)據(jù)處理的粒度會更加精細(xì)：數(shù)據(jù)處理從表粒度升級到字段粒度，極大的降低計(jì)算和存儲的成本。

AI民主化、多模態(tài)數(shù)據(jù)、可解釋性AI與增強(qiáng)分析、5G、IOT與邊緣計(jì)算等方向?qū)峭黄菩宰兓?/span>

• AI民主化：隨著AutoML技術(shù)的發(fā)展，數(shù)據(jù)挖掘的每一個流程都在朝著自動化的方向演變，越來越多的崗位可以運(yùn)用AI的能力，AI人才不足的問題將在5年之內(nèi)得到緩解。

• 多模態(tài)數(shù)據(jù)：未來10年多模態(tài)數(shù)據(jù)的統(tǒng)一挖掘和建模以及互相之間的翻譯和轉(zhuǎn)換，將會是一個熱點(diǎn)并有可能取得更大的突破。在對話領(lǐng)域，直接基于語音信號進(jìn)行語義理解和實(shí)體識別也在進(jìn)行。衛(wèi)星等另類數(shù)據(jù)價值將被進(jìn)一步融合與挖掘。

• 可解釋性AI與增強(qiáng)分析：可解釋性AI與增強(qiáng)分析的出現(xiàn)，將拉近數(shù)據(jù)科學(xué)與商業(yè)之間的距離，為業(yè)務(wù)提供更加透明、可靠的AI能力。

• 5G、IOT與邊緣計(jì)算：中國的5G從2019年開始落地，2020年規(guī)?；?/span>雖然當(dāng)前5G核心應(yīng)用較少，但伴隨的IoT的同步發(fā)展，未來10年，將有更多端上數(shù)據(jù)可被采集和挖掘以及在端上進(jìn)行邊緣計(jì)算。

• 云BI將成為市場主流模式：云廠商+BI產(chǎn)品將代替?zhèn)鹘y(tǒng)私有云解決方案，成為市場主流模式。云BI需要具有平臺即服務(wù)和分析應(yīng)用即服務(wù)的能力，可以同時在云端和本地部署、使用和管理數(shù)據(jù)分析報告和數(shù)據(jù)分析應(yīng)用。從目前的國際IT市場來看，云端化確實(shí)是大勢所趨，并逐漸形成規(guī)模市場，但國內(nèi)市場由于數(shù)據(jù)環(huán)境相對封閉，數(shù)據(jù)安全也有很多挑戰(zhàn)，導(dǎo)致企業(yè)關(guān)鍵數(shù)據(jù)仍然大部分存在于私有部署的系統(tǒng)中，云化的發(fā)展進(jìn)度并不如國際市場，中國市場的云BI發(fā)光點(diǎn)可能在于業(yè)務(wù)集中在SAAS云平臺系統(tǒng)中的中小型用戶，這個有待市場驗(yàn)證。

• 自助數(shù)據(jù)分析需求持續(xù)旺盛：數(shù)據(jù)分析的應(yīng)用場景在不斷豐富和擴(kuò)展，越來越多的業(yè)務(wù)人員需要通過數(shù)據(jù)分析來為自己的業(yè)務(wù)決策提供支撐，而企業(yè)需要通過自助數(shù)據(jù)分析解放IT人員的勞動力，降低企業(yè)成本。

• 新制造、新金融、新零售、中小企業(yè)將成為BI市場中的亮點(diǎn)：從社會的發(fā)展趨勢來看，新制造、新金融、新零售的理念會迎來更大的普及，在這些行業(yè)“數(shù)據(jù)即能源”的理念逐漸成為業(yè)界的共識，用BI對數(shù)據(jù)進(jìn)行分析、充分挖掘數(shù)據(jù)價值成為他們的標(biāo)準(zhǔn)配備。中小企業(yè)也會成為BI市場的新亮點(diǎn)，他們的應(yīng)用場景主要集中在數(shù)字營銷領(lǐng)域，亟需通過數(shù)據(jù)分析挖掘潛在的商業(yè)價值，幫助自身完成業(yè)務(wù)決策。

• 數(shù)據(jù)分析和數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理會有更多交集。：接下來的幾年將會有越來越多的大型企業(yè)實(shí)施統(tǒng)一的數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理項(xiàng)目，而數(shù)據(jù)分析是數(shù)據(jù)資產(chǎn)管理中的重要組成部分，兩者的融合會越來越多。元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)簽、多維數(shù)據(jù)分析等需要與BI深度集成，并在此基礎(chǔ)上建立相應(yīng)的分析模型。

• 海量數(shù)據(jù)處理秒級響應(yīng)成為標(biāo)配：傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法滿足企業(yè)的數(shù)據(jù)發(fā)展需求，大數(shù)據(jù)逐漸成為企業(yè)標(biāo)配，BI產(chǎn)品需要提供強(qiáng)大的數(shù)據(jù)計(jì)算處理引擎，能夠降低企業(yè)數(shù)據(jù)查詢等待時間成本，提高業(yè)務(wù)數(shù)據(jù)分析效率，并且要和企業(yè)自身的大數(shù)據(jù)平臺做到無縫集成和對接。

• AI和BI融合，BI將真正進(jìn)入智能化時代：為滿足企業(yè)業(yè)務(wù)人員自助數(shù)據(jù)分析和自動挖掘的需求，BI產(chǎn)品需要在現(xiàn)有的數(shù)據(jù)可視化和數(shù)據(jù)分析的功能基礎(chǔ)上，增強(qiáng)數(shù)據(jù)自動挖掘能力，用戶能夠輕松使用平臺內(nèi)置的高級分析功能。

• 移動端、共享、嵌入集成越來越普遍：隨著ERP、OA、MES、HIS等常見業(yè)務(wù)系統(tǒng)的完善，企業(yè)少則數(shù)十套IT系統(tǒng)，多則上千套系統(tǒng)，新型自助BI需要能夠與多個系統(tǒng)同時融合，全面分析企業(yè)的業(yè)務(wù)數(shù)據(jù)。大數(shù)據(jù)BI平臺不同用戶創(chuàng)建的分析頁面，可以方便地分享給其他成員。同時，在企業(yè)的分析用戶設(shè)計(jì)儀表板時，可以復(fù)用儀表板中的圖表、維度、指標(biāo)等，支持用戶分享指定頁面進(jìn)行給其他部門成員，便于互動溝通交流。為滿足企業(yè)人員實(shí)時辦公、互通信息的需要。大數(shù)據(jù)BI平臺還需要支持移動端上共享和查看分析結(jié)果，支持在移動端對分析結(jié)果進(jìn)行數(shù)據(jù)層級鉆取穿透、聯(lián)動等。

• 聯(lián)邦學(xué)習(xí)促流通：數(shù)據(jù)一直是制約智能服務(wù)發(fā)展的關(guān)鍵因素，隨著聯(lián)邦學(xué)習(xí)的興起，這一問題將會得到有效改善；在保證數(shù)據(jù)安全的前提下，讓數(shù)據(jù)變?yōu)榭善栈莸哪茉?，無論平行模式還是垂直模式，都有利于數(shù)據(jù)在不同企業(yè)、不同媒介中傳播，發(fā)揮數(shù)據(jù)差異性的效果提升。

• AutoML提效能：數(shù)據(jù)智能將會逐步走向大眾化，AutoML將逐步進(jìn)步，以達(dá)到普通的監(jiān)督學(xué)習(xí)任務(wù)能夠通過可用的方式或尚未完全完善的方法，自信地進(jìn)行算法選擇和超參數(shù)優(yōu)化，AutoML將不再被視為機(jī)器學(xué)習(xí)工具箱的替代品，而是作為其中包含的另一種工具。

• 高性能在線數(shù)據(jù)訪問： 高性能在線分析訴求十分強(qiáng)烈，查詢近似和數(shù)據(jù)近似技術(shù)發(fā)展將至關(guān)重要。

• 數(shù)據(jù)云服務(wù)化：kubernetes 有大一統(tǒng)趨勢，無論機(jī)器學(xué)習(xí)還是數(shù)據(jù)應(yīng)用開發(fā)，云原生都是未來，數(shù)據(jù)服務(wù)Cloud Native 后，使得數(shù)據(jù)工程師聚焦在數(shù)據(jù)分析領(lǐng)域，植入關(guān)鍵數(shù)據(jù)邏輯，無需關(guān)注服務(wù)邏輯DevOps，同時機(jī)器學(xué)習(xí)訓(xùn)練部署預(yù)測都可以Cloud Native 化，促進(jìn)資源高效利用及平臺無關(guān)性，無論AutoML和還是傳統(tǒng)數(shù)據(jù)服務(wù)都將徹底云化。

• 監(jiān)管合規(guī)依然是促進(jìn)企業(yè)數(shù)據(jù)安全及個人隱私數(shù)據(jù)保護(hù)發(fā)展的最大驅(qū)動力：專門的立法及行業(yè)標(biāo)準(zhǔn)也會陸續(xù)發(fā)布，但數(shù)據(jù)開放利用與數(shù)據(jù)安全成為“一個硬幣的兩面”，也是各國政策法律的焦點(diǎn)和難點(diǎn)。

• 以數(shù)據(jù)為中心的數(shù)據(jù)安全體系將逐漸被認(rèn)可：未來數(shù)據(jù)安全將成為企業(yè)的核心競爭力之一而不是成本，即能者多勞，數(shù)據(jù)安全做的好，可以獲得更多的業(yè)務(wù)機(jī)會。

• 短期不會有一個技術(shù)系統(tǒng)可以解決所有的數(shù)據(jù)安全問題，而是基于不同的場景下使用不同的技術(shù)來解決不同的安全問題：比如sgx和安全多方計(jì)算可以解決多方互不相信的數(shù)據(jù)融合的問題，端上的邊緣計(jì)算可以解決采集合規(guī)的風(fēng)險，差分隱私可以解決部分個人隱私數(shù)據(jù)泄露的問題，基于智能算法可以解決數(shù)據(jù)流通過程中的風(fēng)險識別和控制問題等。

• 數(shù)據(jù)安全產(chǎn)業(yè)將迎來重大機(jī)遇：數(shù)字經(jīng)濟(jì)時代的發(fā)展，強(qiáng)烈依賴以大數(shù)據(jù)為生產(chǎn)資料的挖掘和應(yīng)用，在此過程中需要解決數(shù)據(jù)孤島問題，增加數(shù)據(jù)資源的商業(yè)價值和社會價值。

• 數(shù)據(jù)權(quán)屬關(guān)系將更為復(fù)雜：數(shù)據(jù)保護(hù)需求全面爆發(fā)，數(shù)據(jù)安全的新技術(shù)、新模式不斷涌現(xiàn)，數(shù)據(jù)安全產(chǎn)業(yè)邊界呈現(xiàn)不斷拓展和融合的態(tài)勢。

--end--