Snowflake CTO 談數(shù)據(jù)云發(fā)展
有一次聽PinCAP創(chuàng)始人黃東旭說TiDB的愿景，聽到了數(shù)據(jù)交換市場這一說法，最開始以為是原創(chuàng)。
后來看到了Snowflake CTO Benoit Dageville 的一個(gè)分享，也提到了這一觀點(diǎn)，原來數(shù)據(jù)交換市場概念出處是在這里。
黃東旭很長時(shí)間住在硅谷，他說這里離科技中心更近，數(shù)據(jù)交換市場就是一個(gè)典型的例子。因?yàn)樗≡诠韫?，所以他可以快速的吸收硅谷的一些新的觀點(diǎn)，比如 Snowflake的觀點(diǎn)，并把它很好的消化，放在TiDB未來的戰(zhàn)略愿景里面。
以下就是Snowflake聯(lián)合創(chuàng)始人和產(chǎn)品總裁、CTO Benoit Dageville的一段分享。
講述了Snowflake的發(fā)展史，以及過去面對(duì)誘惑的一些取舍，樸實(shí)而又值得深思。
Benoit Dageville一直從事數(shù)據(jù)有關(guān)的行業(yè)，他出生在法國南部，在巴黎第六大學(xué)攻讀計(jì)算機(jī)博士學(xué)位，博士期間研究的是并行數(shù)據(jù)庫系統(tǒng)。
1996年，Benoit Dageville加入了甲骨文，當(dāng)時(shí)甲骨文是數(shù)據(jù)革命的中心。在甲骨文期間，Benoit Dageville作為架構(gòu)師，希望為甲骨文打造出一款優(yōu)秀的并行數(shù)據(jù)庫產(chǎn)品。
在2012年，Benoit Dageville意識(shí)到，甲骨文已經(jīng)錯(cuò)失了兩次數(shù)據(jù)革命，一次是機(jī)器大量生成數(shù)據(jù)的大數(shù)據(jù)時(shí)代，一次是云數(shù)據(jù)時(shí)代。
Benoit Dageville決定創(chuàng)建一家公司做以上兩件事情，于是和同事離職之后，一起創(chuàng)辦Snowflake。
Benoit Dageville想要打造一款出色的產(chǎn)品，Snowflake只不過是實(shí)現(xiàn)這一目標(biāo)的手段。
對(duì)于“大數(shù)據(jù)云”這個(gè)概念，盡管Hadoop做的不錯(cuò)，但Benoit Dageville不太認(rèn)可Hadoop。
因?yàn)镠adoop比較復(fù)雜，很多事情讓人不知道如何做，對(duì)于交易場景，Hadoop比較慢，不是好的選擇，這一切都是因?yàn)镠adoop復(fù)雜性造成的。
所以Snowflake決定為云構(gòu)建一個(gè)好的數(shù)據(jù)系統(tǒng)。
大數(shù)據(jù)出現(xiàn)之后，人們想要分析更多機(jī)器生成的數(shù)據(jù)，網(wǎng)絡(luò)日志數(shù)據(jù)、業(yè)務(wù)的PB級(jí)數(shù)據(jù)。
之前的數(shù)據(jù)分析和數(shù)據(jù)倉庫，其實(shí)是給CEO等高管準(zhǔn)備的，但2012年之后，公司里面的每個(gè)人都有看到數(shù)據(jù)的需求，所以對(duì)于數(shù)據(jù)訪問的民主化十分關(guān)鍵。
盡管不知道具體應(yīng)該怎么做，但Benoit Dageville覺得，要用好云才行。
云有兩方面好處：
無限訪問資源，云可以無限存儲(chǔ)，有無限的訪問資源。利用好這一點(diǎn)，可以解決規(guī)模的問題，包括更多的數(shù)據(jù)和更多的用戶。
將解決方案作為服務(wù)，要真的實(shí)現(xiàn)數(shù)據(jù)訪問的民主化，服務(wù)化是做到這一點(diǎn)的最佳方式。
所以要構(gòu)建一個(gè)作為服務(wù)的解決方案，用戶可以使用它獲得所有功能，除了運(yùn)行檢測之外，不需要刻意的去管理，這是一個(gè)大膽的愿景。
利用云，可以為服務(wù)帶來很好的彈性，對(duì)很多人來說，彈性意味著要向集群中增加或減少服務(wù)器。
但彈性對(duì)數(shù)據(jù)服務(wù)來說，必須是與眾不同的東西，需要為用戶圍繞相同數(shù)據(jù)，添加新的工作負(fù)載，這些新的工作負(fù)載能夠在他們自己的計(jì)算機(jī)資源上啟動(dòng)，這就是解耦，存儲(chǔ)和計(jì)算的分離。
這樣，任何工作負(fù)載都可以有一組專用資源，不會(huì)相互爭奪資源，建立新的工作負(fù)載就會(huì)非常容易。
現(xiàn)在Snowflake幾秒鐘就可以得到大量的計(jì)算資源，存儲(chǔ)與計(jì)算的獨(dú)立、工作負(fù)載概念，是Snowflake的核心思想。
Snowflake最初的注意力放在了一些重大的技術(shù)問題、關(guān)鍵架構(gòu)決策上。
需要Snowflake速度快，對(duì)資源無限訪問，想要將大數(shù)據(jù)處理和分析結(jié)合起來，所以Snowflake從第一天就要支持非結(jié)構(gòu)化數(shù)據(jù)。
目前Snowflake架構(gòu)最大的優(yōu)勢(shì)是，讓客戶按需付費(fèi)。意味著一些資金不多的公司，也可以使用Snowflake。對(duì)于數(shù)據(jù)使用場景來說，按需付費(fèi)是非常好的方式，比如晚上或者周末，你是不需要看數(shù)據(jù)的。
存儲(chǔ)與計(jì)算分離，當(dāng)你想要大量計(jì)算資源時(shí)，可以將工作負(fù)載的計(jì)算資源乘以十倍。這都可以用云的彈性，幾秒內(nèi)解決。
為了讓Snowflake更好用，我們需要學(xué)會(huì)如何管理服務(wù)，將一切自動(dòng)化，要在線上實(shí)現(xiàn)維護(hù)、升級(jí)。這不僅關(guān)于軟件，還有發(fā)布管理，質(zhì)量保障等。這一切在數(shù)據(jù)庫產(chǎn)品上來說，難度要大得多。
我們需要建立正確的團(tuán)隊(duì)，找到合適的人，對(duì)一家創(chuàng)業(yè)公司來說，這很重要。
Snowflake不做云基礎(chǔ)設(shè)施，而是建立在云基礎(chǔ)設(shè)施之上的數(shù)據(jù)云，建立圍繞于數(shù)據(jù)的數(shù)據(jù)分析和應(yīng)用程序，Snowflake可能是第四個(gè)云供應(yīng)商。
云的另一個(gè)維度是協(xié)作，未來Snowflake會(huì)做數(shù)據(jù)工程，就是數(shù)據(jù)傳遞，在平臺(tái)內(nèi)進(jìn)行所有的數(shù)據(jù)轉(zhuǎn)換，需要在云平臺(tái)本地運(yùn)行java程序，平臺(tái)內(nèi)數(shù)據(jù)的可編程性就非常重要，要讓平臺(tái)真正的易于使用。
可以通過交換數(shù)據(jù)與不同公司合作，要有數(shù)據(jù)分享能力，就像文檔一樣。
對(duì)于數(shù)據(jù)，未來可能還有一個(gè)市場，這對(duì)合作非常重要。
過去的云，關(guān)注的是計(jì)算和存儲(chǔ)，而數(shù)據(jù)有更高的價(jià)值，這個(gè)世界上所有的數(shù)據(jù)，都將會(huì)遷移到云中，實(shí)現(xiàn)更好的管理、整合、共享、分析等。而Snowflake就是這樣一個(gè)關(guān)鍵平臺(tái)。
世界正在向云轉(zhuǎn)移，向軟件即服務(wù)轉(zhuǎn)移。
過去，人們談?wù)摼W(wǎng)絡(luò)效應(yīng)時(shí)，只從互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)方面著手，但數(shù)據(jù)網(wǎng)絡(luò)的規(guī)模效益是，使用數(shù)據(jù)的人越多，可以共享的數(shù)據(jù)就越多，這對(duì)每個(gè)人來說都是一個(gè)推動(dòng)力。
Snowflake的愿景是，建立一個(gè)全球數(shù)據(jù)網(wǎng)絡(luò)，并通過數(shù)據(jù)建立聯(lián)系，這不僅關(guān)于數(shù)據(jù)，還關(guān)于所有圍繞于數(shù)據(jù)的服務(wù)。
數(shù)據(jù)共享是Snowflake提供的真正價(jià)值，它用起來就像谷歌文檔一樣，發(fā)送一個(gè)鏈接到你的數(shù)據(jù)，并且這些數(shù)據(jù)可以掛在到另一個(gè)賬戶中，可以直接訪問或者運(yùn)行。
所以數(shù)據(jù)的提供者可以決定他想要分享什么數(shù)據(jù)，他可以直接與消費(fèi)者分析，或者直接將它放到市場上，任何Snowflake的消費(fèi)者都可以利用這些數(shù)據(jù)集。
這些邏輯之所以可行，是因?yàn)榧軜?gòu)上將計(jì)算和存儲(chǔ)剝離開了?？梢葬槍?duì)相同的數(shù)據(jù)的不同運(yùn)行工作負(fù)載，實(shí)現(xiàn)數(shù)據(jù)的共享。
不同的工作負(fù)載，不僅是你的工作負(fù)載，也可能是其他消費(fèi)者的工作負(fù)載。你共享數(shù)據(jù)，但不共享計(jì)算資源，他們是完全分開的，它們只是數(shù)據(jù)的一個(gè)鏈接。
當(dāng)提供者更新數(shù)據(jù)時(shí)，作為用戶可以馬上看到數(shù)據(jù)的變化，數(shù)據(jù)是實(shí)時(shí)的。
數(shù)據(jù)是安全的，因?yàn)椴簧婕暗綌?shù)據(jù)的拷貝，權(quán)限可以在平臺(tái)控制。
Snowflake上數(shù)據(jù)分享，可以跨區(qū)也可以跨云，比如可以把美國的數(shù)據(jù)分享給歐洲。
這就像數(shù)據(jù)的萬維網(wǎng)一樣。
通過消除數(shù)據(jù)孤島，讓它只存在于數(shù)據(jù)云中，可以將世界上任何數(shù)據(jù)和其他數(shù)據(jù)聯(lián)系起來，不僅可以連接數(shù)據(jù)，也可以連接服務(wù)，讓生態(tài)擁有驚人的力量。
對(duì)于如何打造一家成功的創(chuàng)業(yè)公司，Benoit Dageville說，以客戶為中心是非常重要的。
如果你希望用戶喜歡你的產(chǎn)品，你就要傾聽客戶，并真正思考如何改變他們的生活。
創(chuàng)建一家公司是具有冒險(xiǎn)精神的，你必須有這一點(diǎn)。
你需要找到北極星，并且不妥協(xié)，不要試圖去做每一件事，因?yàn)镾nowflake的北極星是數(shù)據(jù)云，所以一直沒考慮私有化部署，盡管客戶可能給更多的錢。
團(tuán)隊(duì)很重要，需要有合適的人加入，雇傭合適的人與你工作非常重要，他們要認(rèn)可你的價(jià)值觀、和你一樣的熱情，愿意同你一起去冒險(xiǎn)。