Apache DolphinScheduler：國人主導(dǎo)的分布式工作流調(diào)度平臺正式成為 Apache 頂級項目
全球最大的開源軟件基金會 Apache 軟件基金會（以下簡稱 Apache）于北京時間 2021年4月9日在官方渠道宣布Apache DolphinScheduler 畢業(yè)成為Apache頂級項目。這是首個由國人主導(dǎo)并貢獻(xiàn)到 Apache 的大數(shù)據(jù)工作流調(diào)度領(lǐng)域的頂級項目。
DolphinScheduler? 已經(jīng)是聯(lián)通、IDG、IBM、京東物流、聯(lián)想、新東方、諾基亞、360、順豐和騰訊等 400+ 公司在使用的分布式可視化大數(shù)據(jù)工作流調(diào)度系統(tǒng)。
DolphinScheduler于2019年8月29日由易觀捐贈給 Apache 并啟動孵化。之后在導(dǎo)師的指導(dǎo)下，由孵化器管理委員會成員進(jìn)行輔導(dǎo)和孵化，在 2021年2月19日在 Apache 孵化器以 8 票支持一次性通過畢業(yè)提案投票。3月18日，Apache 董事會通過DolphinScheduler畢業(yè)決議，結(jié)束了為期 18 個月的孵化，正式確定 DolphinScheduler 成為 Apache 頂級項目。
2021 年 4 月 9 日由 Apache 市場副總裁 Sally Khudairi 在 Apache 軟件基金會各渠道官號上發(fā)布官方通告。
關(guān)于 Apache DolphinScheduler
Apache DolphinScheduler 是一個分布式易擴(kuò)展的帶有強(qiáng)大可視化 DAG 界面的新一代工作流調(diào)度平臺，自 2017 年在立項之初就確定了使命“解決大數(shù)據(jù)任務(wù)之間錯綜復(fù)雜的依賴關(guān)系，使整個數(shù)據(jù)處理過程直觀可見”，從此配置工作流程再也不需要寫代碼啦！
作為強(qiáng)大的帶有有向無環(huán)圖（DAG）可視化界面的分布式大數(shù)據(jù)工作流調(diào)度平臺，DolphinScheduler解決了復(fù)雜的任務(wù)依賴關(guān)系和簡化了數(shù)據(jù)任務(wù)編排的工作。它以開箱即用的、易于擴(kuò)展的方式將眾多大數(shù)據(jù)生態(tài)組件連接到可處理 100,000 級別的數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)中來。
Apache DolphinScheduler是全球頂尖架構(gòu)師與社區(qū)認(rèn)可的數(shù)據(jù)調(diào)度平臺，把復(fù)雜性留給自己，易用性留給用戶，整體有如下特征：
?云原生設(shè)計：支持多云、多數(shù)據(jù)中心的跨端調(diào)度，同時也支持K8s Docker部署與擴(kuò)展，性能上可以線性增長，在用戶測試情況下最高已經(jīng)支持10萬的并行任務(wù)控制；?高可用：去中心化的多Master/Worker的架構(gòu)，可以自動任務(wù)平衡，自動高可用，確保任務(wù)在任何節(jié)點死機(jī)的情況下可以具有完整性完成整體調(diào)度；?用戶友好的界面：可視化的DAG圖，包括子任務(wù)，條件調(diào)度、腳本管理、多租戶等方便功能，并具有讓運(yùn)行任務(wù)實例與任務(wù)模板分開，讓你的平臺維護(hù)人員和數(shù)據(jù)科學(xué)家都有一個方便易用的開發(fā)和管理平臺；?支持多種數(shù)據(jù)場景：支持流數(shù)據(jù)處理，批數(shù)據(jù)處理，暫停、恢復(fù)、多租戶等，對于spark，hive，MR，flink，clickhouse等等平臺都可以方便直接調(diào)用。
DolphinScheduler在短短一年半孵化時間里就能收獲如此多用戶和其一直倡導(dǎo)的Slogan是分不開的：
最終Apache DolphinScheduler獲得大量用戶，例如中國聯(lián)通、IBM中國，京東物流，聯(lián)想，新東方，順豐快遞等等，400多個用戶都在線上使用：
是的，調(diào)度用的對，半夜真能安心睡！
Apache DolphinScheduler開始了新的起點！
DolphinScheduler 在設(shè)計之初就秉承著大道至簡、產(chǎn)品易用易維護(hù)的核心理念，以高可用、易擴(kuò)展作為架構(gòu)底座，經(jīng)過諸多打磨，獲得了用戶群體的肯定，然后才在 2019年 3 月正式對外開源，8 月 29 日成功進(jìn)入到 Apache 孵化器，成為國內(nèi)首個 Apache 大數(shù)據(jù)調(diào)度項目，多次登陸 github 月度趨勢榜并引起 Hacker News 上的熱烈討論。在 2020 年, DolphinScheduler 也獲得了諸多贊譽(yù)，InfoQ 中國技術(shù)力量年度榜單評其為 “十大開源新銳項目” 和 “最具人氣開源新銳項目”，榮獲開源中國年度 “最佳技術(shù)團(tuán)隊” 等稱號。DolphinScheduler社區(qū)已經(jīng)有龐大的 4000+ 人的用戶群，據(jù)不完全統(tǒng)計，截止 2020 年 10 月，已經(jīng)有 400+ 家公司將 DolphinScheduler 用在生產(chǎn)環(huán)境，DolphinScheduler 在各個領(lǐng)域上持續(xù)發(fā)光發(fā)熱！
在 Apache 孵化過程中，學(xué)習(xí)并實踐 Apache Way, 真正體會到了 Apache 文化的精髓 “Comuunity Over Code”，社區(qū)基于代碼，卻又大于代碼，需要在代碼之上去思考如何協(xié)作、如何溝通，如何讓 Community 健康持續(xù)的向前發(fā)展。正是這不斷的思考，使得 DolphinScheduler 在結(jié)束孵化投票上沒有遇到任何 challenge，可以說是出乎意料的順利。
畢業(yè)成為頂級項目見證了過去一年半以來來自 Apache DolphinScheduler 社區(qū)眾多貢獻(xiàn)者和用戶的日日夜夜的努力，自從進(jìn)入 Apache 孵化器以來，DolphinScheduler 社區(qū)共加入了 14 位 Commiter、2 位 PMC，也在社區(qū)的共同努力下發(fā)布了 8 個 Apache Releases，感謝給予辛勤支持和無數(shù)幫助的各位導(dǎo)師、貢獻(xiàn)者、用戶和及 Apache 孵化器的支持。
成為頂級項目，只是Apache DolphinScheduler新的起點，還有更多的挑戰(zhàn)等待著各位社區(qū)的小伙伴和用戶多多的支持，我們希望未來可以讓中國優(yōu)秀的開源項目走向世界，讓世界都了解國內(nèi)也有頂尖的開源項目，最后也感謝各位大咖對于 Apache DolphinScheduler 項目的幫助和祝福。我們也在此拜謝各位，也希望各位一如既往的支持 Apache DolphinScheduler 項目走向全球！
在成為頂級項目佳機(jī)，DolphinScheduler 社區(qū)先后獲得各路大神和各開源社區(qū)的賀詞與祝福：
我很榮幸能從孵化的第一天起就開始指導(dǎo)DolphinScheduler社區(qū)。在過去的 1.5 年中，社區(qū)非?？焖俣】档厣L。他們很快學(xué)會了Apache文化，并具有出色的執(zhí)行能力。很高興看到該項目從孵化器中畢業(yè)，并擁有一個多元化而活躍的社區(qū)。成為頂級項目來說是一個新的起點，期待成為一個全球性且強(qiáng)大的項目。
Sheng Wu. DolphinScheduler Incubator Champion. Apache board director
很榮幸見證了 DolphinScheduler 從開源到進(jìn)入 Apache 孵化器，再到畢業(yè)成為獨立 Apache 頂級項目的整個過程；在這一年多的時間里， DolphinScheduler 社區(qū)的同學(xué)們，秉承開源精神，不斷創(chuàng)新、不斷進(jìn)?。簧鐓^(qū)開發(fā)者貢獻(xiàn)者源源不斷的加入，使得 DolphinScheduler 這個國人創(chuàng)造的大數(shù)據(jù)調(diào)度工具日趨完善，用戶也越來越多，項目走向了良性循環(huán)發(fā)展之路。期待她從孵化器畢業(yè)以后，在其 PMC 的管理下繼續(xù)前進(jìn)，通過開源軟件為社會、為公眾創(chuàng)造更多價值。
史少鋒，Apache Kylin & Incubator PMC
祝賀DolphinScheduler開源項目從Apache孵化器中畢業(yè)成為ASF頂級開源項目，DolphinScheduler一直按照Apache Way來發(fā)展社區(qū)，吸引了眾多開源開發(fā)者加入，在社區(qū)成員共同努力下，項目越來越成熟，祝愿DolphinScheduler社區(qū)越來越好
Apache CarbonData VP 陳亮
在 DolphinScheduler 從 Apache 基金會孵化成功、畢業(yè)成為頂級項目之際，謹(jǐn)代 Apache Pulsar 社區(qū)送上祝福，祝 DolphinScheduler 項目和社區(qū)發(fā)展越來越好！也希望 Pulsar 和 DolphinScheduler 社區(qū)多多合作，共同推進(jìn)國內(nèi)開源發(fā)展。
Apache Pulsar 社區(qū)
恭喜 Apache DolphinScheduler 從 Apache 基金會畢業(yè)，非常高興看到又一來自中國的開源項目成為 Apache 基金會頂級項目。恭祝 DolphinScheduler 社區(qū)發(fā)展壯大，服務(wù)更多開發(fā)者。
Apache ECharts VP 羨轍
恭喜 DolphinScheduler 順利畢業(yè)成為 Apache 軟件基金會的頂級項目！DolphinScheduler 在進(jìn)入 Apache 孵化器后，按照 Apache Way 快速發(fā)展，已經(jīng)擁有了很多的外部貢獻(xiàn)者，也有非常多的公司在使用，構(gòu)建了健康的社區(qū)生態(tài)。期待 Apache DolphinScheduler 成為頂級項目后，能夠吸引更多的開發(fā)者參與進(jìn)來。
Apache APISIX VP 溫銘
DolphinScheduler 是非?？孔V的國產(chǎn)開源項目，祝越來越好！
Apache pegasus ppmc 吳濤
恭喜 Apache DolphinScheduler 畢業(yè)， DolphinScheduler是一款非常優(yōu)秀的開源項目，社區(qū)一直遵從Apache Way，孵化期間，已經(jīng)吸引了大量的用戶、貢獻(xiàn)者。我在此謹(jǐn)代表 Apache Dubbo 社區(qū)送上祝福，衷心祝愿DolphinScheduler社區(qū)越來越好！
Apache Dubbo PMC - YuHang Xiu
我非常高興看到 DolphinScheduler 畢業(yè)成為 Apache 頂級項目，DolphinScheduler 社區(qū)在孵化器中以 Apache way 的方式發(fā)展的非?？?。我對我們2個社區(qū)共同舉辦的co-meetup上參與者的熱情印象非常深刻。希望將來能有更多的合作。我為你感到驕傲，Congratulations！
LiangZhang, Apache member & Apache ShardingSphere PMC Chair
恭喜 Apache DolphinScheduler 從 Apache 基金會畢業(yè)成為 Apache 基金會頂級項目。恭祝 DolphinScheduler成為新時代Scheduler標(biāo)準(zhǔn)，為更多的企業(yè)和開發(fā)人員帶來開箱即用的體驗。
Apache Griffin VP 郭躍鵬
祝賀DolphinScheduler畢業(yè)！進(jìn)入Apache孵化器以來，DolphinScheduler發(fā)展非常迅速，建立了非?；钴S的社區(qū)。期待DolphinScheduler越來越好，也非常期待IoTDB能夠與DolphinScheduler集成，成為時序分析的數(shù)據(jù)源。
Apache IoTDB VP 黃向東
此次順利畢業(yè)，DolphinScheduler 也獲得了開源社創(chuàng)始人 - 劉天棟Ted 的高度評價：“Apache DolphinScheduler 是一個真正踐行 Apache 之道-亦即由社區(qū)驅(qū)動的開源項目。它成功地由 Apache 孵化器畢業(yè)為頂級項目，標(biāo)志了第一個源自中國的中小企業(yè)開源項目一樣可以立足中國、貢獻(xiàn)全球。恭喜 Apache DolphinScheduler! ”
畢業(yè)之際，DolphinScheduler 社區(qū)也獲得了用戶代表的贊譽(yù)：
提供了一個優(yōu)秀的調(diào)度產(chǎn)品，節(jié)省了近百人月的開發(fā)成本。友好的社區(qū)溝通環(huán)境，提供了強(qiáng)大的后援支持。
聯(lián)通數(shù)字科技 架構(gòu)師 尹正軍
面向物流領(lǐng)域的解決方案，DS作為數(shù)據(jù)底座基礎(chǔ)組件，可配合多個京慧智能產(chǎn)品應(yīng)用對外銷售，可根據(jù)業(yè)務(wù)實際需求靈活選擇。可快速高效定制化開發(fā)，新功能新需求支持敏捷開發(fā)，短時間內(nèi)即可完成產(chǎn)品方案的快速交付，具有良好的、完整的技術(shù)保障。另外運(yùn)用開源DS，便于業(yè)務(wù)實際需求擴(kuò)展和二次開發(fā)。如外接SAP hana數(shù)據(jù)共享和Hadoop最新版本源碼快速迭代。DS 社區(qū)一年來，匯集了很多業(yè)界專家，輸出了很多高質(zhì)量的講座和文檔資源，在社區(qū)中學(xué)習(xí)到很多，收獲很大。祝DS社區(qū)發(fā)展越來越好，能夠凝聚更多的有識之士，共譜開源DS的美好未來。
京東物流JDL 數(shù)據(jù)架構(gòu)師 顧喜德
恭喜~ 小海豚已經(jīng)是我們數(shù)據(jù)項目開發(fā)管理的利器，非常好用，希望保持初心，越來越好~
奇安信 數(shù)據(jù)總監(jiān) 姜旭
從EasyScheduler到DolphinScheduler，有幸見證了小海豚的成長 —— 越來越簡單，越來越易用。DS已作為數(shù)據(jù)平臺的基礎(chǔ)組件服務(wù)于整個長安汽車車聯(lián)網(wǎng)的離線開發(fā)場景，非常穩(wěn)定。希望DS社區(qū)生態(tài)越來越完善，每個用戶都能得益于社區(qū)，貢獻(xiàn)于社區(qū)！
長安汽車 數(shù)據(jù)平臺工程師 黃立
新一代大數(shù)據(jù)調(diào)度 - DolphinScheduler 的相關(guān)資源
?DolphinScheduler 官網(wǎng): https://dolphinscheduler.apache.org?DolphinScheduler github：https://github.com/apache/incubator-dolphinscheduler?DolphinScheduler Gitee：https://gitee.com/dolphinscheduler/DolphinScheduler?DolphinScheduler Twitter: https://twitter.com/dolphinschedule?DolphinScheduler Slack 討論頻道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw
推薦閱讀：
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
華為內(nèi)網(wǎng)最火的文章：什么是內(nèi)卷？
不是你需要中臺，而是一名合格的架構(gòu)師（附各大廠中臺建設(shè)PPT）
【中臺實踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf