1. 深入微服務(wù) API 網(wǎng)關(guān)之架構(gòu)實(shí)踐篇

        共 3888字,需瀏覽 8分鐘

         ·

        2021-07-18 01:48

        隨著這些年微服務(wù)的流行,API網(wǎng)關(guān)已經(jīng)成為微服務(wù)架構(gòu)中不可或缺的一環(huán)。一方面它承擔(dān)著服務(wù)對外的唯一門戶,一方面它提取了許多應(yīng)用的共性功能。


        -     整體架構(gòu)     - 


        我們的Api網(wǎng)關(guān)目前的架構(gòu)如上所示,可以看到Api網(wǎng)關(guān)處于一個(gè)什么位置,往上承接所有的南北流量,往下會分發(fā)流量到微服務(wù)應(yīng)用或者BFF聚合應(yīng)用,在BFF規(guī)范化之前我們?nèi)匀粚⑵湟暈橐粋€(gè)普通微服務(wù)應(yīng)用。

        目前Api網(wǎng)關(guān)實(shí)現(xiàn)的功能包括請求分發(fā)、條件路由、Api管理、限流隔離、熔斷降級、安全策略、監(jiān)控報(bào)警以及調(diào)用鏈追蹤等。

        我們的Api網(wǎng)關(guān)基于RxNetty開發(fā),整個(gè)流程是異步響應(yīng)式的,可以達(dá)到較高的單機(jī)并發(fā)?;谏僭燧喿拥睦砟?,Api網(wǎng)關(guān)的大部分功能都是結(jié)合現(xiàn)有平臺實(shí)現(xiàn)。包括請求分發(fā)、條件路由基于微服務(wù)框架,限流隔離、熔斷降級基于穩(wěn)定性平臺,監(jiān)控報(bào)警基于監(jiān)控平臺等,安全策略基于大數(shù)據(jù)分析平臺等。注冊中心與配置中心則分別負(fù)責(zé)服務(wù)注冊核心信息與第三方配置信息的下發(fā)。


        -     請求分發(fā)     - 


        請求的分發(fā)路由應(yīng)該是一個(gè)網(wǎng)關(guān)最基本的功能,在絕大多數(shù)基于nginx開發(fā)的網(wǎng)關(guān)上,這部分功能通?;趧討B(tài)更新代理的upstream。而在我們的實(shí)現(xiàn)中,認(rèn)為網(wǎng)關(guān)是一個(gè)只訂閱不注冊的微服務(wù)而已,區(qū)別是微服務(wù)應(yīng)用發(fā)起rpc調(diào)用指定了調(diào)用服務(wù),而網(wǎng)關(guān)接收請求分發(fā)只有url信息。

        這可以通過簡單的改造來復(fù)用已有微服務(wù)框架的服務(wù)發(fā)現(xiàn)功能。

        經(jīng)過一系列url規(guī)范化行動后,我們的url目前不同的應(yīng)用都會采取不同的前綴,同時(shí)這個(gè)前綴信息會隨著應(yīng)用注冊到注冊中心。

        這樣網(wǎng)關(guān)進(jìn)行服務(wù)發(fā)現(xiàn)時(shí)會給不同的url前綴以及微服務(wù)應(yīng)用構(gòu)建不同的namespace對象,在進(jìn)行請求匹配時(shí)候只需根據(jù)url前綴選取到對應(yīng)的namespace即可匹配到對應(yīng)微服務(wù)應(yīng)用,后續(xù)就是現(xiàn)有微服務(wù)框架sdk的功能:路由、負(fù)載均衡直至完成整個(gè)調(diào)用。


        這里還涉及到另一個(gè)問題,網(wǎng)關(guān)選擇服務(wù)發(fā)現(xiàn)的應(yīng)用是哪些?即我需要拉取哪些應(yīng)用信息以構(gòu)建namespace?

        我們這里對服務(wù)發(fā)現(xiàn)對象進(jìn)行了管理,用戶可在管控平臺上控制微服務(wù)應(yīng)用在網(wǎng)關(guān)層的上下線,這會通過我們的配置中心推送到網(wǎng)關(guān)并進(jìn)行一次熱更新,刷新內(nèi)存緩存,這樣就做到了請求分發(fā)服務(wù)的動態(tài)增減。


        -     條件路由&灰度發(fā)布     - 


        條件路由意味著可以對具有特定內(nèi)容(或者一定流量比例)的請求進(jìn)行篩選并分發(fā)到特定實(shí)例組上,是實(shí)現(xiàn)灰度發(fā)布、藍(lán)綠發(fā)布、ABTest等功能的基礎(chǔ)。

        同樣的,在基于nginx開發(fā)的網(wǎng)關(guān)中,一般是維護(hù)多套u(yù)pstream列表,然后通過某種策略將不同請求代理到不同upstream。

        在我們的實(shí)現(xiàn)中,條件路由依然是復(fù)用現(xiàn)有的微服務(wù)框架,避免重復(fù)造輪子。每個(gè)應(yīng)用都可以根據(jù)一些規(guī)則創(chuàng)建一些分組,分組中有若干實(shí)例。在網(wǎng)關(guān)進(jìn)行服務(wù)發(fā)現(xiàn)初始化時(shí)會給每個(gè)應(yīng)用創(chuàng)建Invoker代理對象,Invoker內(nèi)會根據(jù)不同的分組創(chuàng)建不同的Space空間,請求調(diào)用時(shí)會對這些Space空間進(jìn)行規(guī)則匹配,從而決定是否路由到特定分組上。整個(gè)過程都是微服務(wù)框架完成的,沒有額外的開發(fā)工作。

        目前我們支持按照特定內(nèi)容或者流量比例兩種方式進(jìn)行請求來源規(guī)則的匹配,特定內(nèi)容包括http請求的header、attribute等等。我們目前的實(shí)例分組主要是根據(jù)"版本"這個(gè)標(biāo)來區(qū)分的,所以分配規(guī)則主要是支持"版本"維度,未來考慮支持到k8s的pod label。

        條件路由的功能結(jié)合devops平臺發(fā)布管理可以很容易實(shí)現(xiàn)灰度發(fā)布。如下圖所示我們將用戶id是100的請求分發(fā)到灰度版本上進(jìn)行內(nèi)部測試。



        -     Api 管理     - 


        Api網(wǎng)關(guān)為什么前面要有Api幾個(gè)字,我覺得其中一個(gè)很重要的原因就是具有Api管理功能。當(dāng)我們的大部分應(yīng)用還是裸連網(wǎng)關(guān),而不是經(jīng)過BFF聚合時(shí),我們有必要對每個(gè)api接口都進(jìn)行管理,以區(qū)分哪些是微服務(wù)間內(nèi)部調(diào)用,哪些是暴露給前端/客戶端調(diào)用。

        實(shí)現(xiàn)上和之前的應(yīng)用上下線類似,額外依賴了DB存儲,用戶在管控平臺進(jìn)行api發(fā)布等操作會先存儲在DB中,隨后通過配置中心pub/sub通知到網(wǎng)關(guān)。我們在namespace匹配前加入了一層filter以過濾刪除/未上線的api,所以熱更新該filter對象即可。


        用戶體驗(yàn)方面我們也做了一些工作,包括:

        • 從微服務(wù)管控平臺直接同步新增的api接口到網(wǎng)關(guān)管控平臺,而無需手動添加。此外也支持多種格式的文件導(dǎo)入。(我們的微服務(wù)注冊模型會包括api信息等元數(shù)據(jù))
        • 各個(gè)環(huán)境之間通過流轉(zhuǎn)功能發(fā)布api,而無需重復(fù)添加
        • 對各個(gè)狀態(tài)的篩選展示
        • 與devops平臺配合,在應(yīng)用發(fā)布流轉(zhuǎn)時(shí)同步提醒進(jìn)行api管理的發(fā)布流轉(zhuǎn)。


        -     限流隔離/熔斷降級     - 


        Api網(wǎng)關(guān)作為南北流量的唯一入口,一般具有較高并發(fā)度,以及流量復(fù)雜性。所以對入口流量進(jìn)行整治管理是很有必要的。

        我們的限流隔離/熔斷降級均基于穩(wěn)定性平臺與配置中心實(shí)現(xiàn),穩(wěn)定性平臺是我們基于Sentinel二次開發(fā)的。整個(gè)結(jié)構(gòu)如下圖所示:
        穩(wěn)定性相關(guān)的功能主要包括限流隔離以及熔斷降級。限流隔離主要是作用在流入方向服務(wù)端測的流量控制,其中限流主要是控制qps,隔離主要是控制并發(fā)數(shù)。熔斷降級則是作用在流出方向客戶端測的流量控制,可以配置在一定錯(cuò)誤率情況下進(jìn)行熔斷,并配合降級數(shù)據(jù)快速返回。

        以上規(guī)則均可以通過穩(wěn)定性平臺配置,然后由配置中心分發(fā)到api網(wǎng)關(guān),再進(jìn)行熱更新刷新內(nèi)存緩存。每次請求時(shí)sentinel sdk都會幫我們做好數(shù)據(jù)統(tǒng)計(jì)并判斷是否符合規(guī)則,同時(shí)被限流隔離、熔斷降級的流量都會通過相關(guān)sdk(基于prometheus)暴露metrics數(shù)據(jù)給監(jiān)控平臺,以便我們隨時(shí)觀察到流量控制水平。


        -     安全策略     - 


        時(shí)常我們會遇見一些異常流量,典型的就是惡意爬蟲,所以完善一些基礎(chǔ)的安全策略是必要的。


        整個(gè)安全策略的結(jié)構(gòu)如上所示。用戶可以在網(wǎng)關(guān)管控平臺手動進(jìn)行規(guī)則配置,經(jīng)由配置中心下發(fā)到api網(wǎng)關(guān)的securityControl進(jìn)行熱更新。在請求來臨時(shí)由securityControl判斷是否符合規(guī)則,被封禁的流量同樣暴露metrics數(shù)據(jù)給監(jiān)控平臺供我們隨時(shí)查看。

        此外,手動配置封禁規(guī)則在某些場景可能比較低效。我們同時(shí)還會將網(wǎng)關(guān)日志實(shí)時(shí)采集至大數(shù)據(jù)分析平臺,經(jīng)分析后如果判斷某個(gè)ip或者用戶存在異常情況,會自動配置安全策略規(guī)則至網(wǎng)關(guān)管控平臺,同時(shí)觸發(fā)一個(gè)報(bào)警提醒業(yè)務(wù)owner。

        在安全策略目標(biāo)方面,我們目前支持包括根據(jù)客戶端IP、用戶ID、其余http header/attribute等。策略行為方面目前支持快速失敗以及驗(yàn)證碼,后者用戶會在前端被跳轉(zhuǎn)到一個(gè)人機(jī)驗(yàn)證碼的頁面。


        -     監(jiān)控報(bào)警     - 


        與其他微服務(wù)應(yīng)用一樣,我們的api網(wǎng)關(guān)也有完善的監(jiān)控報(bào)警、調(diào)用鏈追蹤、日志查詢等功能。這里監(jiān)控主要指的是查詢metrics信息,調(diào)用鏈主要指查詢tracing信息,日志顧名思義就是logging,三者是監(jiān)控領(lǐng)域很典型的信息了:


        報(bào)警這塊除了針對metrics信息/錯(cuò)誤日志的報(bào)警,還可以支持主機(jī)層面的報(bào)警。

        得意于監(jiān)控平臺以及調(diào)用鏈埋點(diǎn)sdk,api網(wǎng)關(guān)幾乎不需要改造成本即可接入。整體結(jié)構(gòu)如下所示,api網(wǎng)關(guān)內(nèi)嵌了metrics sdk暴露metrics信息到endpoint供監(jiān)控中心拉取,tracing sdk負(fù)責(zé)埋點(diǎn)打印tracing日志,tracing日志和業(yè)務(wù)日志均會通過日志采集器輸入監(jiān)控中心處理。在監(jiān)控平臺上,用戶可以查詢調(diào)用鏈、監(jiān)控、日志信息,api網(wǎng)關(guān)發(fā)生的主機(jī)異常或者業(yè)務(wù)異常也會報(bào)警給owner。

        這里值得一提的是,當(dāng)網(wǎng)關(guān)調(diào)用后端微服務(wù)應(yīng)用發(fā)生異常時(shí),例如超時(shí)、連接池耗盡等,這些錯(cuò)誤發(fā)生在客戶端即api網(wǎng)關(guān),所以觸發(fā)的報(bào)警也會報(bào)給api網(wǎng)關(guān)的owner。但是api網(wǎng)關(guān)僅僅作為一個(gè)轉(zhuǎn)發(fā)服務(wù),其超時(shí)很大程度是因?yàn)楹蠖宋⒎?wù)rt過高,所以報(bào)警應(yīng)該同時(shí)報(bào)給后端微服務(wù)owner,為此我們開發(fā)了雙端告警,一份告警會同時(shí)發(fā)送給客戶端和服務(wù)端雙方。


        -     總結(jié)     - 


        當(dāng)然api網(wǎng)關(guān)還有許多沒有展開說的:
        • 我們還支持websocket協(xié)議,本次沒有詳細(xì)說
        • 在多云部署環(huán)境下,網(wǎng)關(guān)承載了一個(gè)多云流量調(diào)度服務(wù)的角色。

        未來可以優(yōu)化的地方:
        • 首先是我們的高并發(fā)能力并未怎么經(jīng)過實(shí)際驗(yàn)證,由于tob商業(yè)模式公司沒有太多高并發(fā)的場景。
        • 考慮引入規(guī)則引擎來應(yīng)付各種下發(fā)的規(guī)則,包括安全策略、穩(wěn)定性、路由規(guī)則等。
        • 安全策略考慮會支持更多一些,例如IP網(wǎng)段,及支持各種邏輯與或非
        瀏覽 47
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評論
        圖片
        表情
        推薦
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
          
          

            1. 依人在线免费视频 | 大鸡吧在线观看视频 | 张柏芝亚洲一区二区三区 | 99re99这里只有精品 | 国产精品a v |