1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        Apache Linkis 正式畢業(yè)成為 Apache 頂級(jí)項(xiàng)目

        共 2910字,需瀏覽 6分鐘

         ·

        2023-02-10 22:47

        全網(wǎng)最全大數(shù)據(jù)面試提升手冊(cè)!

        Apache 軟件基金會(huì)(ASF)孵化器于2022年12月03日,通過(guò)了 Apache Linkis 計(jì)算中間件項(xiàng)目的孵化畢業(yè)投票。2023年01月18日,Apache 軟件基金會(huì)官方宣布 Apache Linkis 順利畢業(yè),成為 Apache 頂級(jí)項(xiàng)目(TLP)。


        以上截圖來(lái)自 Apache 官網(wǎng)

        原文鏈接:https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-apache-linkis-as-a-top-level-project


        一、關(guān)于 Apache Linkis

        Apache Linkis 計(jì)算中間件項(xiàng)目,是由微眾銀行大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在2019年7月進(jìn)行開(kāi)源,并于2021年8月正式捐獻(xiàn)給全球頂級(jí)開(kāi)源社區(qū) Apache 軟件基金會(huì)(ASF),成為 ASF 孵化項(xiàng)目,在2022年12月03日通過(guò)孵化畢業(yè)投票。

        Apache Linkis 在上層應(yīng)用程序和底層引擎之間構(gòu)建了一層計(jì)算中間件。通過(guò)使用 Linkis 提供的 REST/JDBC/Shell 等標(biāo)準(zhǔn)接口,上層應(yīng)用可以方便地連接訪(fǎng)問(wèn) MySQL/Spark/Hive/Trino/Flink 等底層引擎,同時(shí)實(shí)現(xiàn)變量、腳本、函數(shù)和資源文件等用戶(hù)資源的跨上層應(yīng)用互通,以及通過(guò) REST 標(biāo)準(zhǔn)接口提供了數(shù)據(jù)源管理和數(shù)據(jù)源對(duì)應(yīng)的元數(shù)據(jù)查詢(xún)服務(wù)。作為計(jì)算中間件,Linkis 提供了強(qiáng)大的連通、復(fù)用、編排、擴(kuò)展和治理管控能力。通過(guò)計(jì)算中間件將應(yīng)用層和引擎層解耦,簡(jiǎn)化了復(fù)雜的網(wǎng)絡(luò)調(diào)用關(guān)系,降低了整體復(fù)雜度,同時(shí)節(jié)約了整體開(kāi)發(fā)和維護(hù)成本。

        自開(kāi)源以來(lái),開(kāi)源社區(qū)群用戶(hù)總數(shù)超 7600人,沙箱累計(jì)試用公司超 2600家,收到超過(guò) 110家企業(yè)已投入生產(chǎn)的反饋,生產(chǎn)環(huán)境支撐的數(shù)據(jù)量超 400PB,生產(chǎn)服務(wù)的用戶(hù)超 5000人,涉及金融、電信、制造、互聯(lián)網(wǎng)等多個(gè)行業(yè)。許多公司已經(jīng)用 Linkis 來(lái)解決大數(shù)據(jù)平臺(tái)連通、擴(kuò)展、管控、編排等計(jì)算治理問(wèn)題。

        在一年多的孵化期間,Apache Linkis 由社區(qū)開(kāi)發(fā)者主導(dǎo)發(fā)布了7個(gè) Apache 版本,平均約兩個(gè)月就會(huì)發(fā)布一個(gè)版本;新加入了4個(gè) PPMC成員 和13個(gè) Committers,來(lái)自不同的公司和團(tuán)隊(duì),貢獻(xiàn)人數(shù)達(dá)到127人。Apache Linkis 社區(qū)各項(xiàng)指標(biāo)發(fā)展良好,項(xiàng)目已經(jīng)趨于成熟, Apache Linkis 順利通過(guò) ASF 孵化器項(xiàng)目管理委員會(huì)的畢業(yè)評(píng)估和投票,并得到ASF董事會(huì)批準(zhǔn),畢業(yè)晉升為 Apache 基金會(huì)頂級(jí)項(xiàng)目。


        二、Apache Linkis 的核心功能點(diǎn)以及 Roadmap

        通過(guò)使用 Linkis,上層應(yīng)用工具如批量系統(tǒng)可以把 Linkis 作為統(tǒng)一的網(wǎng)關(guān)或者 JobServer 來(lái)提交批量任務(wù);數(shù)據(jù)分析工具可以利用 Linkis 的交互式任務(wù)的能力實(shí)時(shí)獲取日志、結(jié)果集、進(jìn)度信息等能力。集成了 Linkis 的工具可以做到互聯(lián)互通,在不同的工具中可以使用同一個(gè)定義的 UDF、數(shù)據(jù)源、物料等。

        接入了 Linkis 的上層應(yīng)用工具都可以擁有以下核心功能特性:

        • 豐富的底層計(jì)算存儲(chǔ)引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;

        • 豐富的語(yǔ)言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;

        • 強(qiáng)大的計(jì)算治理能力:能夠提供基于多級(jí)標(biāo)簽的任務(wù)路由、負(fù)載均衡、多租戶(hù)、流量控制、資源控制等能力;

        • 全棧計(jì)算存儲(chǔ)引擎架構(gòu)支持:能夠接收、執(zhí)行和管理針對(duì)各種計(jì)算存儲(chǔ)引擎的任務(wù)和請(qǐng)求,包括離線(xiàn)批量任務(wù)、交互式查詢(xún)?nèi)蝿?wù)、實(shí)時(shí)流式任務(wù)和數(shù)據(jù)湖任務(wù);

        • 統(tǒng)一上下文服務(wù):支持跨用戶(hù)、系統(tǒng)、計(jì)算引擎去關(guān)聯(lián)管理用戶(hù)和系統(tǒng)的資源文件(JAR、ZIP、Properties 等),結(jié)果集、參數(shù)變量、函數(shù)、UDF 等,一處設(shè)置,處處自動(dòng)引用;

        • 統(tǒng)一物料:提供了系統(tǒng)和用戶(hù)級(jí)物料管理,可分享和流轉(zhuǎn),跨用戶(hù)、跨系統(tǒng)共享物料;

        • 統(tǒng)一數(shù)據(jù)源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等類(lèi)型數(shù)據(jù)源信息的增刪查改、版本控制、連接測(cè)試和對(duì)應(yīng)數(shù)據(jù)源的元數(shù)據(jù)信息查詢(xún)能力;

        • 錯(cuò)誤碼能力:提供了任務(wù)常見(jiàn)錯(cuò)誤的錯(cuò)誤碼和解決方案,方便用戶(hù)自助定位問(wèn)題;


        從孵化器畢業(yè)也證明了 Linkis 項(xiàng)目和社區(qū)進(jìn)一步走向成熟,但是要成為一個(gè)世界頂級(jí)的計(jì)算中間件項(xiàng)目還有很多的事情要做。Linkis 社區(qū)整理了一份 Roadmap ,歡迎大家參與一起貢獻(xiàn)。部分重大特性如下:

        三、Apache Linkis 生態(tài)

        Linkis 作為計(jì)算中間件,也積極推動(dòng)與多個(gè)開(kāi)源社區(qū)的項(xiàng)目進(jìn)行集成,以豐富 Linkis 的生態(tài)。下圖是部分已經(jīng)與 Linkis 集成的開(kāi)源項(xiàng)目,涵蓋了數(shù)據(jù)分析、工作流、數(shù)據(jù)交換、數(shù)據(jù)質(zhì)量、機(jī)器學(xué)習(xí)、以及常用的計(jì)算和存儲(chǔ)引擎等。上層應(yīng)用工具通過(guò) Linkis 提交和管理各類(lèi)引擎的任務(wù),把 Linkis 當(dāng)成了一個(gè)開(kāi)發(fā)基座。極大地降低了上層應(yīng)用工具在連通、擴(kuò)展、管控等計(jì)算治理方面的開(kāi)發(fā)工作量,讓上層應(yīng)用工具只需專(zhuān)注于其自身的功能性需求。


        未來(lái)我們也將進(jìn)一步引導(dǎo)和推動(dòng)更多的上層工具系統(tǒng)和底層引擎,去與 Linkis 對(duì)接集成,豐富 Linkis 的生態(tài)。歡迎越來(lái)越多的項(xiàng)目參與其中。


        四、Apache Linkis 官方鏈接

        官網(wǎng)主頁(yè):

        https://linkis.apache.org/

        倉(cāng)庫(kù)地址:

        https://github.com/apache/linkis


        訂閱Linkis郵件列表:[email protected](發(fā)送任意內(nèi)容到郵箱后,根據(jù)回復(fù)以訂閱郵件列表 )

        如果這個(gè)文章對(duì)你有幫助,不要忘記 「在看」 「點(diǎn)贊」 「收藏」 三連啊喂!

        2022年全網(wǎng)首發(fā)|大數(shù)據(jù)專(zhuān)家級(jí)技能模型與學(xué)習(xí)指南(勝天半子篇)
        互聯(lián)網(wǎng)最壞的時(shí)代可能真的來(lái)了
        我在B站讀大學(xué),大數(shù)據(jù)專(zhuān)業(yè)
        我們?cè)趯W(xué)習(xí)Flink的時(shí)候,到底在學(xué)習(xí)什么?
        193篇文章暴揍Flink,這個(gè)合集你需要關(guān)注一下
        Flink生產(chǎn)環(huán)境TOP難題與優(yōu)化,阿里巴巴藏經(jīng)閣YYDS
        Flink CDC我吃定了耶穌也留不住他!| Flink CDC線(xiàn)上問(wèn)題小盤(pán)點(diǎn)
        我們?cè)趯W(xué)習(xí)Spark的時(shí)候,到底在學(xué)習(xí)什么?
        在所有Spark模塊中,我愿稱(chēng)SparkSQL為最強(qiáng)!
        硬剛Hive | 4萬(wàn)字基礎(chǔ)調(diào)優(yōu)面試小總結(jié)
        數(shù)據(jù)治理方法論和實(shí)踐小百科全書(shū)
        標(biāo)簽體系下的用戶(hù)畫(huà)像建設(shè)小指南
        4萬(wàn)字長(zhǎng)文 | ClickHouse基礎(chǔ)&實(shí)踐&調(diào)優(yōu)全視角解析
        【面試&個(gè)人成長(zhǎng)】2021年過(guò)半,社招和校招的經(jīng)驗(yàn)之談
        大數(shù)據(jù)方向另一個(gè)十年開(kāi)啟 |《硬剛系列》第一版完結(jié)
        我寫(xiě)過(guò)的關(guān)于成長(zhǎng)/面試/職場(chǎng)進(jìn)階的文章
        當(dāng)我們?cè)趯W(xué)習(xí)Hive的時(shí)候在學(xué)習(xí)什么?「硬剛Hive續(xù)集」



        瀏覽 46
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            免费无码a在线观看视频区 | 国产肏屄网 | 久久婷婷五月综合 | 我才16就同学破了处好爽 | 黄色av操逼 | 王雨纯脱得连奶罩都不剩 | 亚洲视频二区 | 大尺度师生恋禁片 | 欧美一级a视频免费放 | www.欧美成人 |