Apache 軟件基金會“歸檔”撤回 13 個大數(shù)據(jù)相關(guān)項目，Hadoop 已成“過氣寵兒”

公開消息表示，Apache 軟件基金會在短短 11 天內(nèi)宣布?xì)w檔（attic）19個開源項目，與大數(shù)據(jù)有關(guān)的有 13 個，其中 10 個項目屬于 Hadoop 生態(tài)系統(tǒng)，包括 Sentry、Tajo 和 Falcon 等。

從整體上看，這次的行為無疑是一個“行業(yè)的分水嶺”，能為從業(yè)者以及行業(yè)觀察者提供一些趨勢類的分析與觀察。與大數(shù)據(jù)有關(guān)的已報廢的 Apache 項目包括如下：

- Apex：這個統(tǒng)一的平臺面向大數(shù)據(jù)流和批處理，基于 Hadoop YARN。

- Chukwa：這個數(shù)據(jù)收集系統(tǒng)用于監(jiān)控大型分布式系統(tǒng)，基于 Hadoop 分布式文件系統(tǒng)（HDFS）。

- Crunch，它提供了一套框架，用于編寫、測試和運行 MapReduce（包括 Hadoop MapReduce）管道。

- Eagle：這種分析解決方案用于立即發(fā)現(xiàn)大數(shù)據(jù)平臺（包括 Hadoop）的安全和性能問題。

- Falcon：這種面向 Hadoop 的數(shù)據(jù)處理和管理解決方案，為數(shù)據(jù)移動、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)而設(shè)計。

- Hama：這種用于大數(shù)據(jù)分析的框架在 Hadoop 上運行，基于 Bulk Synchronous Parallel 范式。

- Lens：提供統(tǒng)一分析界面，將 Hadoop 與傳統(tǒng)數(shù)據(jù)倉庫集成起來，如同一個整體。

- Marmotta：一種面向鏈接數(shù)據(jù)的開放平臺。

- Metron：專注于實時大數(shù)據(jù)安全。

- PredictionIO：這種機器學(xué)習(xí)服務(wù)器用于管理和部署生產(chǎn)就緒的預(yù)測服務(wù)。

- Sentry：這種系統(tǒng)用于對 Apache Hadoop 中的數(shù)據(jù)和元數(shù)據(jù)執(zhí)行細(xì)粒度授權(quán)。

- Tajo：Hadoop 上的大數(shù)據(jù)倉庫系統(tǒng)。

- Twill：使用 Hadoop YARN 的分布式功能以及類似運行中線程的編程模型。

Apache Hadoop —— “過氣的寵兒”

根據(jù)行業(yè)媒體的表述，“Apache Hadoop 作為昔日大數(shù)據(jù)領(lǐng)域的寵兒，早已過氣?！?/span>

十年前，出世兩年的 Hadoop 順利通過孵化器成為了 Apache 頂級項目，同年，第一個 Hadoop 商業(yè)化公司 Cloudera 成立；數(shù)年前，簡直就是 Hadoop 的主場，社區(qū)不斷建立的新組件來擴展 Hadoop 的應(yīng)用場景和可用性，其中有很多組件都成功脫離 Hadoop 成為了 Apache 頂級項目，例如 HBase、Hive、ZooKeeper 等。

這也讓 Hadoop 成為近十年來大數(shù)據(jù)領(lǐng)域的典型代表。它新鮮，它開源，它催生出整個產(chǎn)品與供應(yīng)商市場。

但 Hadoop 如今的“失寵”，可能和他選擇的道路有關(guān)，早在數(shù)年前便有行業(yè)媒體預(yù)言過他的發(fā)展路徑。

Hadoop 當(dāng)初選擇了全面普及的道路，從長遠來看，這條道路有助于其提高自身影響力，但負(fù)面因素則是導(dǎo)致其逐漸偏離當(dāng)初做出的最具價值的承諾。雖然 Hadoop 項目仍然又大又新，但如今的世界已經(jīng)快速轉(zhuǎn)至更重視速度、靈活性、微觀要素甚至是已知數(shù)量的階段。

在大數(shù)據(jù)世界中，大量投資于 Apache Sentry 的供應(yīng)商和客戶現(xiàn)在將需要彌補其損失并繼續(xù)前進。用 ASF 的 Khudairi 的話來說：“每個項目背后的社區(qū)都會保持其代碼的生命力（'代碼不會自行編寫'），因此社區(qū)改變項目步伐的情況并不少見?！?/span>

換句話說，尖端技術(shù)令人興奮，但早期采用者要提防：它也是易變的。社區(qū)運營人員需要注意并管理潛在的風(fēng)險。

正如 Hadoop 的處境一樣，它讓人們了解到大數(shù)據(jù)中蘊藏的無限可能，但同時也提醒人們，沒有任何單一技術(shù)有能力重塑整個企業(yè) IT 世界 —— 至少以后不會再有。

部分參考資料；

1、https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

2、https://www.datanami.com/2018/10/18/is-hadoop-officially-dead/

3、云頭條：《Hadoop和大數(shù)據(jù)正式走到頭了：13個相關(guān)的Apache開源項目宣布報廢》