大家都有對(duì)線(xiàn)上系統(tǒng)排障的經(jīng)驗(yàn)，我一直認(rèn)為查找bug是計(jì)算機(jī)行業(yè)中最神秘、最有創(chuàng)造性的一項(xiàng)活動(dòng)，眾多老手能夠憑借自己豐富的經(jīng)驗(yàn)以神乎其技的方式迅速找到問(wèn)題根源，事后無(wú)論是本人還是旁觀(guān)者似乎都很難系統(tǒng)性的描述查找bug的思路，仿佛是靈感一現(xiàn)，模模糊糊覺(jué)得是哪里的問(wèn)題，于是便動(dòng)手去查。這給計(jì)算機(jī)行業(yè)添加了一些藝術(shù)成分，但也暗示著這種方式很難復(fù)制。

這好比醫(yī)學(xué)，各種現(xiàn)代化的手段比如CT、B超、核磁共振能夠清晰的反映我們身體的內(nèi)部結(jié)構(gòu)，醫(yī)生再以這些信息作為依據(jù)，為病人進(jìn)行診斷，這些可視化工具幫助現(xiàn)代醫(yī)學(xué)以更加科學(xué)的方式進(jìn)步。計(jì)算機(jī)世界的基礎(chǔ)是0和1，更應(yīng)該以確定性為基礎(chǔ)，其上運(yùn)行的系統(tǒng)應(yīng)該像現(xiàn)代醫(yī)學(xué)一樣，能夠通過(guò)一些工具直觀(guān)地反映內(nèi)部運(yùn)行狀態(tài)，如果生病能夠反映病灶，如果不那么健康能夠預(yù)警，如果非常健康也能達(dá)到體檢的效果。

對(duì)云原生有了解的讀者對(duì)于CNCF這個(gè)組織肯定不會(huì)陌生，CNCF提供的全景圖中，有一塊區(qū)域列舉了可觀(guān)測(cè)性領(lǐng)域相關(guān)的眾多項(xiàng)目，可觀(guān)測(cè)性作為一種觀(guān)察系統(tǒng)的理念，不同于基于固定模式的監(jiān)控，它強(qiáng)調(diào)更加深入了解系統(tǒng)，了解系統(tǒng)的指標(biāo)、拓?fù)洹⑿阅芷款i、請(qǐng)求鏈路等細(xì)粒度信息，通過(guò)對(duì)數(shù)據(jù)的挖掘發(fā)現(xiàn)問(wèn)題的答案，并簡(jiǎn)化信息的訪(fǎng)問(wèn)。

隨著微服務(wù)的發(fā)展，一個(gè)線(xiàn)上應(yīng)用可能包含數(shù)十個(gè)甚至上百個(gè)微服務(wù)，數(shù)量眾多的服務(wù)如何治理是大家最先看到的問(wèn)題，但面對(duì)如此規(guī)模的系統(tǒng)，很難有一個(gè)人能夠完整全面的了解系統(tǒng)的每一個(gè)組件，如何監(jiān)控以及觀(guān)測(cè)系統(tǒng)也比以往任何時(shí)候更加重要。

可觀(guān)測(cè)性應(yīng)該做什么

研發(fā)人員更愿意花費(fèi)精力在Day0/Day1環(huán)節(jié)，這是一個(gè)系統(tǒng)的早期方案確定以及研發(fā)階段，因?yàn)檫@個(gè)環(huán)節(jié)更加充滿(mǎn)創(chuàng)造性，非常適合富有挑戰(zhàn)精神的開(kāi)拓者；但這一現(xiàn)象的反面是，Day2 環(huán)節(jié)往往被忽視，在這個(gè)環(huán)節(jié)需要真正部署應(yīng)用，并監(jiān)控、維護(hù)、優(yōu)化、再迭代這個(gè)線(xiàn)上業(yè)務(wù)，直到整個(gè)應(yīng)用生命周期的終點(diǎn)，這是一個(gè)長(zhǎng)期且相對(duì)不那么有創(chuàng)造性的階段，本文聚焦在Day2階段的可觀(guān)測(cè)性這一主題，結(jié)合云原生以及Serverless場(chǎng)景，強(qiáng)調(diào)它的價(jià)值。

前文有描述一個(gè)老手排查線(xiàn)上問(wèn)題的例子，可觀(guān)測(cè)性目的是將整個(gè)系統(tǒng)更加透明化，不再依賴(lài)個(gè)體經(jīng)驗(yàn)去猜測(cè)系統(tǒng)的細(xì)節(jié)邏輯。但可觀(guān)測(cè)性也不是“銀彈”，能夠代替工程師定位bug，它更像是一種理念，尤其在微服務(wù)以及云原生時(shí)代下，這種理念的價(jià)值在于能夠應(yīng)對(duì)系統(tǒng)日益復(fù)雜，難于觀(guān)測(cè)，難于控制的挑戰(zhàn)。

可觀(guān)測(cè)性最初以谷歌發(fā)布的Dapper論文為理論基礎(chǔ)，使用三種遙測(cè)數(shù)據(jù)：日志、指標(biāo)和請(qǐng)求軌跡作為組成部分。

• 日志能夠攜帶完整的上下文信息，能提供最為完備的原始信息，方便后續(xù)進(jìn)行信息的二次加工，但是缺點(diǎn)是數(shù)據(jù)的傳輸以及存儲(chǔ)開(kāi)銷(xiāo)巨大。

  
  

• 指標(biāo)數(shù)據(jù)能夠提供更加抽象的統(tǒng)計(jì)信息，開(kāi)銷(xiāo)相對(duì)固定，方便監(jiān)控以及告警。

  
  

• 請(qǐng)求軌跡信息能夠從單個(gè)請(qǐng)求的角度描述系統(tǒng)的拓?fù)洌绻麑?duì)每個(gè)請(qǐng)求都進(jìn)行記錄，開(kāi)銷(xiāo)依然非常大。

日志以及指標(biāo)信息能夠很好的描述系統(tǒng)中的單個(gè)服務(wù)，而請(qǐng)求軌跡描述了系統(tǒng)處理請(qǐng)求時(shí)的跨服務(wù)的整體信息。

近幾年為了更好滿(mǎn)足系統(tǒng)可觀(guān)測(cè)性，誕生出了OpenTelemtry、Prometheus、Fluentd、Elastic等非常優(yōu)秀的項(xiàng)目，簡(jiǎn)單介紹一下OpenTelemetry：

OpenTelemetry is a collection of tools, APIs, and SDKs. Use it to instrument, generate, collect, and export telemetry data (metrics, logs, and traces) to help you analyze your software’s performance and behavior.

OpenTelemetry 和一些可觀(guān)測(cè)性后臺(tái)（比如Jaeger或者Prometheus）不同，主要提供的是一組API以及SDK規(guī)范，規(guī)范了Logs、Metrics、Trace數(shù)據(jù)的格式，不提供后端服務(wù)（比如存儲(chǔ)、查詢(xún)、可視化等），支持插件化的Exporter，以規(guī)范化收集和發(fā)送遙測(cè)數(shù)據(jù)為目的。

OpenTelemtry對(duì)于可觀(guān)測(cè)性的價(jià)值就像Kubernetes對(duì)于容器編排的價(jià)值一樣，OpenTelemetry擁有強(qiáng)大的社區(qū)支持，基于這個(gè)標(biāo)準(zhǔn)，各個(gè)系統(tǒng)模塊能提供強(qiáng)大的互操作性，用戶(hù)能夠自然而然的享受到最新的可觀(guān)測(cè)性工具，降低學(xué)習(xí)以及遷移成本。

Kubernetes環(huán)境下的可觀(guān)測(cè)性

OpenTelemetry 能夠很好的解決云計(jì)算虛擬化時(shí)代的可觀(guān)測(cè)性問(wèn)題，但是Kubernetes環(huán)境下的可觀(guān)測(cè)性不同于虛擬機(jī)環(huán)境。

Kubernetes 的組件不是中心化部署

Kubernetes組件是分布式部署的，它們之間通過(guò)聲明式語(yǔ)義協(xié)作，以周期性調(diào)諧方式推進(jìn)流程。在Kubernetes環(huán)境下的可觀(guān)測(cè)性并不只是簡(jiǎn)單采集應(yīng)用維度的數(shù)據(jù)，還需要收集各個(gè)組件的數(shù)據(jù)，這種高度抽象的以應(yīng)用為中心的API對(duì)于開(kāi)發(fā)者而言非常便捷，但卻給可觀(guān)測(cè)性帶來(lái)了巨大的挑戰(zhàn)。

Kubernetes 環(huán)境下應(yīng)用負(fù)載的高度動(dòng)態(tài)特性

在Kubernetes環(huán)境下，有一個(gè)經(jīng)典的比喻，將應(yīng)用劃分為“寵物”以及“牲口”，Kubernetes 能夠很好的支持無(wú)狀態(tài)應(yīng)用，計(jì)算存儲(chǔ)分離之后，無(wú)狀態(tài)應(yīng)用也是 Kubernetes 生態(tài)下最為主流的應(yīng)用負(fù)載。無(wú)狀態(tài)應(yīng)用的工作負(fù)載就類(lèi)比于“牲口”，容器實(shí)例會(huì)因?yàn)楣ぷ鞴?jié)點(diǎn)上的資源緊缺、調(diào)度優(yōu)先級(jí)、節(jié)點(diǎn)宕機(jī)等原因被隨時(shí)遷移，“牲口”一詞想表達(dá)的含義是保持?jǐn)?shù)量不變，但是個(gè)體是可以替換的。傳統(tǒng)基礎(chǔ)架構(gòu)并不會(huì)這么“動(dòng)態(tài)”，虛擬機(jī)不會(huì)頻繁的重啟，各種可觀(guān)測(cè)性數(shù)據(jù)都能夠長(zhǎng)期在一個(gè)穩(wěn)定的節(jié)點(diǎn)上采集。這也使得Kubernetes環(huán)境下可觀(guān)測(cè)性更加困難。

雖然相比虛擬機(jī)環(huán)境，在Kubernetes環(huán)境下做可觀(guān)測(cè)性更加困難，但依然有許多方案可供選擇。

• Logs

一些開(kāi)源項(xiàng)目比如LogsStash、Fluentd 都可以收集日志，它們以DaemonSet的方式部署在每個(gè)節(jié)點(diǎn)之上，能兼容多種輸出格式，對(duì)于輸出到標(biāo)準(zhǔn)輸出的日志，這些方案能夠確保日志被妥善保存到后端日志采集系統(tǒng)中。如果更進(jìn)一步，采用類(lèi)似ElasticStack的整體方案，能夠提供日志收集、檢索、展示一系列功能。

• Metrics

Kubernetes 暴露了三種API用于支持Metrics，基礎(chǔ)監(jiān)控 metrics.k8s.io，用戶(hù)自定義 mtrics custom.metrics.k8s.io，外部組件 metrics external.metrics.k8s.io，Metrics Server實(shí)現(xiàn)了基礎(chǔ)監(jiān)控API，Prometheus Adapter實(shí)現(xiàn)了后面兩種API，這些指標(biāo)數(shù)據(jù)后續(xù)都可以作為HPA的彈縮指標(biāo)。

• Trace

基于Mesh方案能夠在Kubernetes環(huán)境下，做到無(wú)侵入的trace收集，但有一定的性能損耗；對(duì)于動(dòng)態(tài)語(yǔ)言，比如java，可以通過(guò)類(lèi)似java agent的方式以兼容OpenTelemetry標(biāo)準(zhǔn)的方式上報(bào)trace數(shù)據(jù)，同樣也是無(wú)侵入的；對(duì)于其他語(yǔ)言，也有非常豐富的SDK支持以O(shè)penTelemetry標(biāo)準(zhǔn)上報(bào)Trace數(shù)據(jù)。

Serverless環(huán)境下的可觀(guān)測(cè)性

云原生給企業(yè)帶來(lái)的價(jià)值是降本增效，期望為企業(yè)提供按需使用、隨時(shí)擴(kuò)展、按量計(jì)費(fèi)的一種資源交付方式，這種特性經(jīng)常被比作云原生時(shí)代的水和電。

https://blogs.vmware.com/vov/2018/08/07/how-technology-powers-our-cloud-native-development-environment/

上圖列舉了云原生時(shí)代各種服務(wù)形態(tài)，從傳統(tǒng)時(shí)代需要自建機(jī)房管理風(fēng)火水電，然后到IaaS的不需要管理風(fēng)火水電，到最后FaaS時(shí)代只需要關(guān)心業(yè)務(wù)以及數(shù)據(jù)，很明顯能看到一個(gè)趨勢(shì)，讓業(yè)務(wù)能夠更加專(zhuān)注于業(yè)務(wù)。

Serverless技術(shù)因?yàn)槠帘瘟朔?wù)器的各種運(yùn)維復(fù)雜度，比如資源申請(qǐng)，環(huán)境搭建，擴(kuò)縮容等等細(xì)節(jié)都由平臺(tái)來(lái)進(jìn)行維護(hù)，能夠讓業(yè)務(wù)更加專(zhuān)注于業(yè)務(wù)。所以Serverless技術(shù)成為企業(yè)上云的一種新的方式。

Gartner最近發(fā)布了他們對(duì)于2022技術(shù)趨勢(shì)的一個(gè)預(yù)測(cè)報(bào)告，其中有一個(gè)條目叫做Cloud-Native Platform，它所表達(dá)的這一類(lèi)平臺(tái)會(huì)向他的用戶(hù)提供一種“可擴(kuò)展的彈性的”服務(wù)，也就是用戶(hù)能夠直接使用，而不需要關(guān)心細(xì)節(jié)。這就非常符合Serverless的核心觀(guān)念，也就很好地證明了Serverless是未來(lái)的一種趨勢(shì)。

Cloud-Native Platforms (CNPs)

To truly deliver digital capabilities anywhere and everywhere, enterprises must turn away from the familiar “l(fā)ift and shift” migrations and toward CNPs. CNPs use the core capabilities of cloud computing to provide scalable and elastic IT-related capabilities “as a service” to technology creators using internet technologies, delivering faster time to value and reduced costs.

---《Gartner Identifies the Top Strategic Technology Trends for 2022》

Serverless平臺(tái)除開(kāi)k8s固有的組件分布式、調(diào)度黑盒、標(biāo)準(zhǔn)不統(tǒng)一這些因素之外，還有額外一些阻礙可觀(guān)測(cè)性的困難。其中最重要的一點(diǎn)就是可觀(guān)測(cè)性和Serverless的哲學(xué)相違背，Serverless提供的是基礎(chǔ)設(shè)施免運(yùn)維的語(yǔ)義，那么為什么還需要提供一套可觀(guān)測(cè)性的工具讓用戶(hù)去關(guān)注底層？用戶(hù)獲取這些信息之后并不能干預(yù)底層資源的調(diào)度和運(yùn)作，這些信息有什么意義嗎？

Serverless環(huán)境下可觀(guān)測(cè)性的價(jià)值

面對(duì)這些困惑，各大廠(chǎng)商Serverless產(chǎn)品依然提供了可觀(guān)測(cè)性的支持，這里的原因與可觀(guān)測(cè)性的目的相關(guān)，正如前文介紹，可觀(guān)測(cè)性更像是一種白盒方式觀(guān)察系統(tǒng)的手段，不同于監(jiān)控，監(jiān)控是以發(fā)現(xiàn)故障并及時(shí)響應(yīng)為目的。對(duì)于一個(gè)完全正常運(yùn)行的應(yīng)用，可觀(guān)測(cè)性也有它的價(jià)值，比如發(fā)現(xiàn)系統(tǒng)的拓?fù)洹@得某個(gè)請(qǐng)求的上下文、發(fā)現(xiàn)系統(tǒng)中可能存在的瓶頸、以及發(fā)現(xiàn)可以進(jìn)一步優(yōu)化的模塊等，這些都是可觀(guān)測(cè)性在Serverless平臺(tái)的價(jià)值。

再比如，基于 OpenTelemetry 采集的指標(biāo)數(shù)據(jù)后續(xù)可以用于實(shí)時(shí)、基于預(yù)測(cè)的彈縮，或者AIOps等場(chǎng)景，這在Serverless場(chǎng)景下對(duì)于縮短冷啟動(dòng)延遲有很大價(jià)值。

除開(kāi)技術(shù)層面的收益，可觀(guān)測(cè)性還有一些“軟性”價(jià)值。以騰訊云TEM為例，提供面向應(yīng)用的 Serverless 服務(wù)形態(tài)，這對(duì)于很多客戶(hù)是一個(gè)比較新的事物，客戶(hù)從自己熟悉的VM環(huán)境遷移到 Serverless 平臺(tái)，碰到問(wèn)題往往會(huì)懷疑是平臺(tái)的問(wèn)題，需要平臺(tái)協(xié)助排查，這在客戶(hù)數(shù)量比較少的時(shí)候，平臺(tái)可以做到貼身服務(wù)客戶(hù)，但一旦用戶(hù)量上來(lái)，這不是一種可持續(xù)的方式。如何將令人信服信息展示給用戶(hù)，甚至協(xié)助客戶(hù)發(fā)現(xiàn)以及定位問(wèn)題，這就是可觀(guān)測(cè)性對(duì)于一個(gè) Serverless 平臺(tái)提供的“軟性”價(jià)值——增強(qiáng)用戶(hù)信心、節(jié)省平臺(tái)人力成本。

具體如何做 Serverless 平臺(tái)的可觀(guān)測(cè)性呢？在平臺(tái)建設(shè)初期，可以依照 Kubernetes 可觀(guān)測(cè)性的做法提供包含Logs、Metrics、Trace信息的數(shù)據(jù)，并隨著平臺(tái)的不斷成熟，再逐漸豐富 Serverless 平臺(tái)特有的一些可觀(guān)測(cè)性數(shù)據(jù)，以騰訊云的TEM為例，可以從以下幾個(gè)方面去豐富可觀(guān)測(cè)性的支持。

鏡像構(gòu)建過(guò)程的可觀(guān)測(cè)性

面向應(yīng)用的Serverless平臺(tái)以jar/war程序包或者鏡像作為輸入，其中程序包需要經(jīng)過(guò)鏡像構(gòu)建環(huán)節(jié)才能運(yùn)行在資源底座上，整個(gè)構(gòu)建過(guò)程各個(gè)環(huán)節(jié)是否成功、耗時(shí)多少都是需要展現(xiàn)的信息，這些信息能夠幫助用戶(hù)進(jìn)一步優(yōu)化鏡像。

以下這段信息就是一個(gè)jar包在TEM上構(gòu)建成鏡像的日志信息，其中不僅包含結(jié)果信息，還把每一個(gè)環(huán)節(jié)的耗時(shí)展現(xiàn)出來(lái)，方便用戶(hù)整體觀(guān)察構(gòu)建性能。

應(yīng)用發(fā)布可觀(guān)測(cè)性

TEM提供白屏化面向應(yīng)用運(yùn)維 Serverless 平臺(tái)，幫助用戶(hù)聚焦業(yè)務(wù)開(kāi)發(fā)，屏蔽底層基礎(chǔ)設(shè)施運(yùn)維細(xì)節(jié)，在提供 Serverless 價(jià)值的同時(shí)，我們也希望通過(guò)發(fā)布可觀(guān)測(cè)性讓用戶(hù)更加了解其中的發(fā)布細(xì)節(jié)。

這些信息包含原生kubernetes運(yùn)行日志以及TEM控制面調(diào)度信息，Kubernetes運(yùn)行日志能夠幫助用戶(hù)排查各種難以預(yù)見(jiàn)的細(xì)節(jié)問(wèn)題，比如：鏡像不存在、配額不足、參數(shù)不合法等。提供發(fā)布環(huán)節(jié)的一些細(xì)粒度信息，方便用戶(hù)自我排查簡(jiǎn)單問(wèn)題，也能夠增強(qiáng)用戶(hù)對(duì)發(fā)布過(guò)程的認(rèn)知。

• 灰度發(fā)布：小批量驗(yàn)證新版本是否符合預(yù)期；
• 分批發(fā)布：提供分批次先擴(kuò)后縮語(yǔ)義的滾動(dòng)發(fā)布，批次間可以采用自動(dòng)或者手動(dòng)方式觸發(fā)；
• 原地升級(jí)：同樣提供分批次先擴(kuò)后縮語(yǔ)義的滾動(dòng)發(fā)布，但是保證舊實(shí)例ID以及IP不變，并且升級(jí)效率更高。

聯(lián)動(dòng)云上產(chǎn)品提供應(yīng)用維度可觀(guān)測(cè)性

TEM能夠聯(lián)接云上各個(gè)產(chǎn)品，提供應(yīng)用維度的可觀(guān)測(cè)性能力，真正做到博取各家所長(zhǎng)。

Logs：基于騰訊云CLS提供應(yīng)用維度的一站式的日志數(shù)據(jù)解決方案，用戶(hù)只需要關(guān)聯(lián)已有的CLS實(shí)例，無(wú)需關(guān)注擴(kuò)縮容等資源問(wèn)題，即可享受從日志采集、日志存儲(chǔ)到日志內(nèi)容搜索、統(tǒng)計(jì)分析等穩(wěn)定可靠的日志服務(wù)。輕松解決業(yè)務(wù)問(wèn)題定位，指標(biāo)監(jiān)控、安全審計(jì)等日志問(wèn)題。

Metrics：TEM結(jié)合云監(jiān)控以及APM，基于實(shí)時(shí)的多語(yǔ)言應(yīng)用探針全量采集技術(shù)，提供豐富的指標(biāo)數(shù)據(jù)，包括基礎(chǔ)監(jiān)控、應(yīng)用監(jiān)控、接口監(jiān)控以及JVM監(jiān)控。幫助用戶(hù)監(jiān)控系統(tǒng)健康度，或者對(duì)接運(yùn)維告警。

Trace：TEM結(jié)合應(yīng)用性能觀(guān)測(cè)管理平臺(tái)，通過(guò)java-agent方式，無(wú)侵入的協(xié)助業(yè)務(wù)接入Trace上報(bào)能力，使得整個(gè)請(qǐng)求的生命周期完整呈現(xiàn)。幫助用戶(hù)從請(qǐng)求維度了解整個(gè)系統(tǒng)拓?fù)湟约皡f(xié)助排查線(xiàn)上問(wèn)題。

總結(jié)

微服務(wù)、容器化、云原生這些技術(shù)帶給現(xiàn)代系統(tǒng)更加優(yōu)秀的理念，但伴隨而來(lái)的復(fù)雜度也比以往任何時(shí)候更加困難，如何治理數(shù)量眾多的微服務(wù)、如何進(jìn)一步提高資源利用率等一些問(wèn)題已經(jīng)被人們充分討論并引起足夠的重視，但本文聚焦在云原生環(huán)境下 Day 2 的可觀(guān)測(cè)性這一部分，不僅僅因?yàn)檫@一部分較少被關(guān)注，也因?yàn)槿绻胱龊靡粋€(gè)產(chǎn)品，Day 2 的工作會(huì)是占比更大也是更加重要的一部分。

參考文獻(xiàn)：

https://www.infoq.cn/news/2017/11/observability-monitoring/

https://copyconstruct.medium.com/monitoring-in-the-time-of-cloud-native-c87c7a5bfa3e

https://www.infoq.com/news/2017/11/observability-monitoring/

https://www.observeinc.com/resources/observability-in-kubernetes/

https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/

https://lumigo.io/blog/understanding-serverless-observability/

掃描下方二維碼關(guān)注本公眾號(hào)，

了解更多微服務(wù)、消息隊(duì)列的相關(guān)信息！

解鎖超多鵝廠(chǎng)周邊！