數(shù)據(jù)人應(yīng)該關(guān)注什么
數(shù)字化轉(zhuǎn)型，數(shù)據(jù)人應(yīng)該關(guān)注什么
|0x00 正在發(fā)生的數(shù)字化轉(zhuǎn)型
這是一個(gè)數(shù)字化的時(shí)代，不論你從事怎樣的崗位、身處怎樣的行業(yè)，我們都被卷入其中?！皵?shù)字化轉(zhuǎn)型”的口號(hào)喊了很久，但2020的年末，發(fā)生了兩件事情，卻讓這件事情陡然加速。
一個(gè)是“被動(dòng)的數(shù)字化轉(zhuǎn)型”，一個(gè)是“主動(dòng)的數(shù)字化轉(zhuǎn)型”。
“被動(dòng)的數(shù)字化轉(zhuǎn)型”
成熟的雙邊市場，是商業(yè)能夠繁榮的前提，一個(gè)能夠高效的聚合消費(fèi)者和生產(chǎn)者的場所，其商業(yè)價(jià)值能夠得到規(guī)模效應(yīng)的倍增。中國過去二十年的互聯(lián)網(wǎng)化進(jìn)程，催生了一個(gè)關(guān)鍵詞：“數(shù)字化平臺(tái)”，通過將線下商品不斷的進(jìn)行線上化，進(jìn)而加速了行業(yè)的標(biāo)準(zhǔn)化進(jìn)程，而交易的方式越標(biāo)準(zhǔn)化，反過來越能夠催生行業(yè)的繁榮。電商行業(yè)如此、廣告行業(yè)亦如此。
那么什么樣的行業(yè)能夠催生出“數(shù)字化平臺(tái)”呢？顯而易見，能夠?qū)⑸唐坊蛘叻?wù)進(jìn)行標(biāo)準(zhǔn)化的行業(yè)，就越容易進(jìn)行“數(shù)字化轉(zhuǎn)型”，進(jìn)而催生出一個(gè)非常巨大的時(shí)長。典型的行業(yè)，就是出行和外賣。
有一些行業(yè)因?yàn)闃?biāo)準(zhǔn)化難的問題，之前并沒有進(jìn)入巨頭們的視野，隨著互聯(lián)網(wǎng)行業(yè)整體的增長乏力，它們迫切的需要開拓新的時(shí)長，于是“社區(qū)團(tuán)購”被盯上了?！吧鐓^(qū)團(tuán)購”通過巨頭們成熟的電商平臺(tái)，將產(chǎn)品供應(yīng)鏈、物流、倉儲(chǔ)、訂單分發(fā)進(jìn)行了標(biāo)準(zhǔn)化，配合“團(tuán)長”這個(gè)具有人情味的中間角色，能夠?qū)⑦^去買菜這種年輕人體驗(yàn)極不好的事情，迅速的標(biāo)準(zhǔn)化起來，省去了砍價(jià)、走路、挑菜等繁瑣的環(huán)節(jié)，將消費(fèi)者和直接的生產(chǎn)者高效的聚合了起來，提升了生鮮等商品分發(fā)的效率，從而對傳統(tǒng)的行業(yè)，再一次的實(shí)現(xiàn)了“降維打擊”。
盡管國家出面批評，但這么重要的流量入口，誰又能輕易放棄。
“主動(dòng)的數(shù)字化轉(zhuǎn)型”。
可口可樂最近在微信推出了一個(gè)小程序，雖然過程沒有什么波瀾，但意義卻不一樣，因?yàn)檫@是可口可樂國內(nèi)的第一家線上化平臺(tái)，傳統(tǒng)巨頭們，坐不住了。如果你感興趣，可以在微信中搜索“可口可樂+”，注意，要帶一個(gè)“+”號(hào)。
與“賣可樂”的印象不同，可口可樂這次不僅沒有賣飲料，反倒是與其他品牌合作，賣起了文創(chuàng)、家居、箱包、珠寶等各種周邊文化產(chǎn)品。這些年來，可口可樂一直將社交化傳播作為自己的重要策略，通過更多場景的滲透，來與消費(fèi)者鏈接起來。
可口可樂這次有三個(gè)變化值得注意：
提供了IP產(chǎn)品的定制； 聯(lián)合多個(gè)品牌方，打造IP形象； 直播成為重要的流量標(biāo)簽入口。
把IP化、直播這兩個(gè)今年熱門的標(biāo)簽，帶到了線上，足以表明可口可樂對商業(yè)變化的敏銳程度。過去，可口可樂活在廣告里；現(xiàn)在，可口可樂活在了“數(shù)字化平臺(tái)”中。
所以，不管是“主動(dòng)的”，還是“被動(dòng)的”，大家都在拼命的“數(shù)字化”，玩命的“標(biāo)準(zhǔn)化”。
|0x01 數(shù)據(jù)的標(biāo)準(zhǔn)化越來越重要
回到技術(shù)本身，我們看待“數(shù)字化”這件事情，其實(shí)更多的應(yīng)該聚焦在“標(biāo)準(zhǔn)化”上。數(shù)據(jù)人往往會(huì)對自己有個(gè)定位，叫：“輔助決策”，但怎樣才能叫“輔助”，做幾個(gè)報(bào)表算嗎？還是跑幾個(gè)模型能算？
決策是由管理層掌握的，考察的是人的決策力，決策力是由決策者自身的視野、資源、人脈、領(lǐng)導(dǎo)力、商業(yè)嗅覺等組成的。一線員工需要經(jīng)歷較長時(shí)間的打磨，才能具備決策力。因此，數(shù)據(jù)從業(yè)者，不能直接跨越階段，需要經(jīng)過描述、分析、輔助決策的逐步歷練，才能成長為決策者。
因此，在“輔助決策”之前，數(shù)據(jù)人的首先目標(biāo)，是要能把事情闡述清楚，把數(shù)據(jù)做好“標(biāo)準(zhǔn)化”。在去搶業(yè)務(wù)價(jià)值之前，先問問自己，這個(gè)領(lǐng)域的數(shù)據(jù)是否標(biāo)準(zhǔn)化了，如果還沒有，我們應(yīng)該怎么去做。別看這是一件很基礎(chǔ)的事情，它卻是“數(shù)字化轉(zhuǎn)型”最核心的部分。
最近這些年，我們對結(jié)構(gòu)化數(shù)據(jù)的處理已經(jīng)有了非常成熟的手段，包括對業(yè)務(wù)數(shù)據(jù)庫的同步，以及處理日志要用到的“數(shù)據(jù)埋點(diǎn)”。與業(yè)務(wù)數(shù)據(jù)庫已經(jīng)標(biāo)準(zhǔn)化好的數(shù)據(jù)不同，如何設(shè)計(jì)一套規(guī)范的“數(shù)據(jù)埋點(diǎn)”體系，是非常重要的。
從分類上來講，“數(shù)據(jù)埋點(diǎn)”主要分為前端埋點(diǎn)與后端埋點(diǎn)。
前端埋點(diǎn)是在用戶端，如APP、網(wǎng)頁等嵌入數(shù)據(jù)采集代碼，著名的例子有友盟的統(tǒng)計(jì)SDK和淘寶的SPM碼。前端埋點(diǎn)能夠?qū)W(wǎng)頁訪問的信息進(jìn)行采集，更容易收集到用戶在界面上的行為，如點(diǎn)了哪個(gè)按鈕、在某個(gè)頁面上停留時(shí)間有多長，等等。前端埋點(diǎn)的優(yōu)點(diǎn)是能夠收集更全面的數(shù)據(jù)，內(nèi)容更加豐富，但缺點(diǎn)是采集的數(shù)據(jù)量較大，增加了終端流量的消耗和服務(wù)器的存儲(chǔ)負(fù)擔(dān)，而且對于需求的變更無法及時(shí)的相應(yīng)。
后端埋點(diǎn)是在服務(wù)器上記錄日志，當(dāng)用戶訪問某個(gè)在線的產(chǎn)品模塊時(shí)，由服務(wù)器將此次訪問的信息記錄下來。后端埋點(diǎn)是針對前端埋點(diǎn)的缺陷而設(shè)計(jì)的，主要用于解決數(shù)據(jù)的時(shí)效性和需求變更效率等問題。
埋點(diǎn)不是某個(gè)人的開發(fā)工作，而是需要業(yè)務(wù)鏈路上下游的協(xié)同來完成，從埋點(diǎn)需求的評審，到埋點(diǎn)方案的制定，再到埋點(diǎn)應(yīng)用的開發(fā)，最后是埋點(diǎn)數(shù)據(jù)的統(tǒng)計(jì)，PD、數(shù)據(jù)開發(fā)、BI、前端、后端、測試同學(xué)都會(huì)有參與。因此，我們在做一個(gè)產(chǎn)品的初期，就需要考慮好埋點(diǎn)的問題，如果等到產(chǎn)品上線之后，再進(jìn)行開發(fā)，早期版本的數(shù)據(jù)就無法采集到的，而且對業(yè)務(wù)的侵入性也會(huì)更強(qiáng)。
掌握數(shù)據(jù)標(biāo)準(zhǔn)化能力的人才，將會(huì)在未來越來越多的“被動(dòng)的數(shù)字化轉(zhuǎn)型”中，尋找到自己的一席之地。
埋點(diǎn)具體的設(shè)計(jì)，歡迎查看木東居士的《七天數(shù)據(jù)埋點(diǎn)之旅》。
|0x02 非結(jié)構(gòu)化數(shù)據(jù)在尋求突破
除了我們能看到的結(jié)構(gòu)化數(shù)據(jù)外，還有80%的非結(jié)構(gòu)化數(shù)據(jù)。它們的特點(diǎn)是：數(shù)據(jù)量大、格式多樣、處理方法復(fù)雜、高度的不標(biāo)準(zhǔn)化。這些數(shù)據(jù)包括了各種的辦公文檔、圖片、音頻、視頻、機(jī)器日志等信息。
從數(shù)據(jù)的角度看，非結(jié)構(gòu)化數(shù)據(jù)有三個(gè)非常顯著的特征；
首先是缺少統(tǒng)一的管理方式。結(jié)構(gòu)化數(shù)據(jù)雖然對于數(shù)據(jù)開發(fā)、數(shù)據(jù)分析等崗位十分友好，但當(dāng)我們需要深入挖掘數(shù)據(jù)的內(nèi)容，比如刻畫一個(gè)消費(fèi)者的行為數(shù)據(jù)時(shí)，往往需要很多非結(jié)構(gòu)化的數(shù)據(jù)作為輔助。而非結(jié)構(gòu)化數(shù)據(jù)并沒有統(tǒng)一的管理視角，導(dǎo)致零散的分布在各個(gè)地方，這時(shí)候非結(jié)構(gòu)化數(shù)據(jù)就無法成為產(chǎn)生價(jià)值的資產(chǎn)。
其次是開發(fā)成本高，因?yàn)榉墙Y(jié)構(gòu)化數(shù)據(jù)往往需要算法同學(xué)的接入，需要針對非結(jié)構(gòu)化數(shù)據(jù)一些特征做定制的開發(fā)，而沒有形成一套體系化的技術(shù)能力，因此上手的難度非常高，能參與的數(shù)據(jù)開發(fā)同學(xué)并不多。
最后是非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值并沒有被充分挖掘。非結(jié)構(gòu)化數(shù)據(jù)更多的是以新的視角，來補(bǔ)充結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容，對原有的業(yè)務(wù)做增量服務(wù)。當(dāng)我們沒有意識(shí)到非結(jié)構(gòu)化數(shù)據(jù)能做什么的時(shí)候，它的價(jià)值也就難以被挖掘出來。
通過算法來標(biāo)準(zhǔn)化數(shù)據(jù)，會(huì)對現(xiàn)有的建模理論和開發(fā)模式，產(chǎn)生一定的沖擊。作為數(shù)據(jù)開發(fā)的同學(xué)，學(xué)習(xí)部分的算法，也許是未來的一種職業(yè)要求。
2016年10月，Gartner發(fā)布了分布式文件和對象存儲(chǔ)魔力象限白皮書（《Magic Quadrant for Distributed File Systems & Object Storage》。Gartner在這個(gè)白皮書中，表達(dá)了一個(gè)觀點(diǎn)：文件和對象存儲(chǔ)的融合趨勢，在客戶看來，這是一個(gè)面向非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)市場.
海量的非結(jié)構(gòu)化數(shù)據(jù)，意味著海量的存儲(chǔ)，意味著復(fù)雜的管理和合規(guī)性需求，意味著大數(shù)據(jù)分析能力的進(jìn)一步提升。當(dāng)前無論是AWS、Azure還是阿里云，對于非結(jié)構(gòu)化處理主要提供工具、算法，并沒有針對數(shù)據(jù)本身提供解決方案。
因此，非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)化，隨著細(xì)分市場爭奪的愈加激烈，也將成為一個(gè)熱門的方向。
|0xFF 業(yè)務(wù)能力的標(biāo)準(zhǔn)化
除了數(shù)據(jù)本身的一些變化趨勢，對于領(lǐng)域模型的理解，也是對未來數(shù)據(jù)人才的一個(gè)要求。
回想你第一次使用UML設(shè)計(jì)系統(tǒng)時(shí)的場景，往往自信滿滿的學(xué)會(huì)了工具，可以大展身手的時(shí)候，卻對著要做什么糾結(jié)許久，不知道如何把腦中的想法去落地。
其實(shí)這就是對自己所從事的領(lǐng)域，抽象概念的理解不夠到位。很多同學(xué)往往拿我們做維度建模的數(shù)據(jù)模型，來理解領(lǐng)域模型，其實(shí)是把技術(shù)的一些概念帶入了業(yè)務(wù)之中，會(huì)導(dǎo)致自己的理解產(chǎn)生偏差。
領(lǐng)域模型所關(guān)注的，并不是擴(kuò)展性、功能性等技術(shù)特征明顯的特點(diǎn)，而是考慮如何通過模型的顯性化，來清晰的表達(dá)業(yè)務(wù)語義。換句話說，聽得懂、看得明白是第一目標(biāo)，如何實(shí)現(xiàn)是其次要考慮的。
技術(shù)同學(xué)往往在做一些匯報(bào)PPT的時(shí)候，腦袋很大，這就是無法對自己做的事情做一個(gè)清晰的領(lǐng)域模型，不清楚自己所處的位置，以及能夠?yàn)闃I(yè)務(wù)帶來的價(jià)值。
按照Robert在《整潔架構(gòu)》里面的觀點(diǎn)，領(lǐng)域模型是核心，數(shù)據(jù)模型是技術(shù)細(xì)節(jié)，這兩個(gè)模型之所以容易被混淆，是因?yàn)閮烧叨紡?qiáng)調(diào)實(shí)體和關(guān)系的概念，很容易在E-R圖的設(shè)計(jì)上產(chǎn)生混淆。
的確，一個(gè)好的數(shù)據(jù)模型應(yīng)該是易于擴(kuò)展的，畢竟改動(dòng)數(shù)據(jù)庫或者是修改業(yè)務(wù)過程，可是一個(gè)系統(tǒng)的大工程，都涉及到不少的工作量。但不論怎樣，領(lǐng)域模型是面向領(lǐng)域?qū)ο蟮模M量具體，盡量要明確，顯性化的表達(dá)業(yè)務(wù)語義是其首要任務(wù)，擴(kuò)展性是其次。而數(shù)據(jù)模型是面向數(shù)據(jù)存儲(chǔ)的，要盡量可擴(kuò)展。
過去，我們用維度模型把互聯(lián)網(wǎng)業(yè)務(wù)跑了起來，但面對業(yè)務(wù)復(fù)雜性更加多元和個(gè)性化的傳統(tǒng)行業(yè)，尤其是制造業(yè)，能夠把業(yè)務(wù)講清楚，就已經(jīng)是一件不容易的事情了。這也就是為什么近年來“領(lǐng)域模型”被重新提起，而“維度建?！眳s不再火熱的原因。因?yàn)闀r(shí)代變了，“數(shù)字化轉(zhuǎn)型”到來了，要求我們更多的去改造傳統(tǒng)行業(yè)，而不是繼續(xù)留在原有業(yè)務(wù)的一畝三分地中去做深耕。
大多數(shù)人都不會(huì)在一個(gè)崗位上一直做下去，總有換到其他行業(yè)去尋找機(jī)會(huì)的時(shí)候，而在數(shù)字化工具做的非常完善、各種云設(shè)施將開發(fā)的門檻急劇拉低的時(shí)候，對業(yè)務(wù)知識(shí)的理解和抽象能力，就是區(qū)分?jǐn)?shù)據(jù)人能力的最重要評判標(biāo)準(zhǔn)。
回到本文的開頭，巨頭們在尋找一個(gè)又一個(gè)可以標(biāo)準(zhǔn)化的行業(yè)，以此來推動(dòng)“數(shù)字化平臺(tái)”的建設(shè)，拼多多存在強(qiáng)制轉(zhuǎn)到買菜業(yè)務(wù)的情況，但細(xì)細(xì)想來，如果我們沒有掌握抽象業(yè)務(wù)的方法論，在“被動(dòng)轉(zhuǎn)型”時(shí)無法勝任，會(huì)不會(huì)像過去軟件時(shí)代的程序員一樣，承擔(dān)被“優(yōu)化”的后果呢？
不論怎樣，學(xué)會(huì)對結(jié)構(gòu)化數(shù)據(jù)做標(biāo)準(zhǔn)化，探索學(xué)習(xí)非標(biāo)準(zhǔn)化數(shù)據(jù)的開發(fā)，掌握對業(yè)務(wù)能力的抽象方法，都是“數(shù)字化轉(zhuǎn)型”時(shí)代里，數(shù)據(jù)人應(yīng)該關(guān)注的內(nèi)容。