美團批流一體增量數倉建設與實踐(PPT)
數據生產一直以來存在離線與實時兩套流程,口徑不統(tǒng)一,維護成本高,數據生產就緒時間將會越來越難保證,伴隨著實時數倉的SQL化和實時數倉平臺的推廣,一些業(yè)務團隊實時與離線開發(fā)開始集中到同一批人身上,開發(fā)方式也逐漸趨同,離線與實時流程統(tǒng)一具備了實現的要求,基于美團長期以來的能力儲備,我們適時的提出增量生產,以解決離線數倉就緒時間難保證、離線+實時兩套生產流程所帶來的數據正確性、開發(fā)成本等問題。





、



























湯楚熙,美團數據系統(tǒng)開發(fā)專家
負責美團數據平臺Flink引擎、平臺工具等相關研發(fā)工作,對實時、離線數倉建設有較豐富經驗,曾從0到1搭建起實時數倉開發(fā)工具鏈。目前主要工作精力集中在基于Flink的增量數倉的建設上,并持續(xù)推進流批一體在公司的落地,提升數據應用效能,助力業(yè)務發(fā)展。
評論
圖片
表情
