使用 Grafana 創(chuàng)建可視化面板
Grafana 是一個監(jiān)控儀表系統(tǒng)，它是由 Grafana Labs 公司開源的的一個系統(tǒng)監(jiān)測工具，它可以大大幫助我們簡化監(jiān)控的復(fù)雜度，我們只需要提供需要監(jiān)控的數(shù)據(jù)，它就可以幫助生成各種可視化儀表，同時它還有報警功能，可以在系統(tǒng)出現(xiàn)問題時發(fā)出通知。
Grafana 支持許多不同的數(shù)據(jù)源，每個數(shù)據(jù)源都有一個特定的查詢編輯器，每個數(shù)據(jù)源的查詢語言和能力都是不同的，我們可以把來自多個數(shù)據(jù)源的數(shù)據(jù)組合到一個儀表板，但每一個面板被綁定到一個特定的數(shù)據(jù)源。目前官方支持以下數(shù)據(jù)源：
Alertmanager AWS CloudWatch Azure Monitor Elasticsearch Google Cloud Monitoring Graphite InfluxDB Loki Microsoft SQL Server (MSSQL) MySQL OpenTSDB PostgreSQL Prometheus Jaeger Zipkin Tempo
我們這里當(dāng)然重點(diǎn)需要介紹的就是 Prometheus 這個數(shù)據(jù)源了。
安裝
接下來我們就來安裝 Grafana，Grafana 本身是非常輕量級的，不會占用大量資源，此外 Grafana 需要一個數(shù)據(jù)庫來存儲其配置數(shù)據(jù)，比如用戶、數(shù)據(jù)源和儀表盤等，目前 Grafana 支持 SQLite、MySQL、PostgreSQL 3 種數(shù)據(jù)庫，默認(rèn)使用的是 SQLite，該數(shù)據(jù)庫文件會存儲在 Grafana 的安裝位置，所以需要對 Grafana 的安裝目錄進(jìn)行持久化。
要安裝 Grafana 的方式有很多，我們這里使用的是 CentOS 系統(tǒng)，可以在 Grafana 官方下載頁面篩選合適的版本 https://grafana.com/grafana/download?edition=oss&platform=linux 根據(jù)自己的需求來進(jìn)行安裝，比如我們這里直接使用 rpm 包進(jìn)行安裝：
????wget?https://dl.grafana.com/oss/release/grafana-8.2.1-1.x86_64.rpm
????sudo?yum?install?grafana-8.2.1-1.x86_64.rpm
安裝完成后我們就可以使用 systemd 來管理 Grafana：
????sudo?systemctl?daemon-reload
????sudo?systemctl?enable?grafana-server
????sudo?systemctl?start?grafana-server
????sudo?systemctl?status?grafana-server
默認(rèn)的啟動配置環(huán)境變量位于 /etc/sysconfig/grafana-server 文件中：
????cat?/etc/sysconfig/grafana-server
GRAFANA_USER=grafana
GRAFANA_GROUP=grafana
GRAFANA_HOME=/usr/share/grafana
LOG_DIR=/var/log/grafana
DATA_DIR=/var/lib/grafana
MAX_OPEN_FILES=10000
CONF_DIR=/etc/grafana
CONF_FILE=/etc/grafana/grafana.ini
RESTART_ON_UPGRADE=true
PLUGINS_DIR=/var/lib/grafana/plugins
PROVISIONING_CFG_DIR=/etc/grafana/provisioning
#?Only?used?on?systemd?systems
PID_FILE_DIR=/var/run/grafana
從上面文件中可以找到 Grafana 的各種數(shù)據(jù)配置路徑，比如數(shù)據(jù)目錄、日志目錄、插件目錄等等，正常啟動完成后 Grafana 會監(jiān)聽在 3000 端口上，所以我們可以在瀏覽器中打開 Grafana 的 WebUI。
默認(rèn)的用戶名和密碼為 admin，也可以在配置文件 /etc/grafana/grafana.ini 中配置 admin_user 和 admin_password 兩個參數(shù)來進(jìn)行覆蓋。
當(dāng)然如果我們想要部署一個高可用版本的 Grafana 的話，那么使用 SQLite 數(shù)據(jù)庫就不行了，需要切換到 MySQL 或者 PostgreSQL，我們可以在 Grafana 配置的 [database] 部分找到數(shù)據(jù)庫的相關(guān)配置，Grafana 會將所有長期數(shù)據(jù)保存在數(shù)據(jù)庫中，然后部署多個 Grafana 實(shí)例使用同一個數(shù)據(jù)庫即可實(shí)現(xiàn)高可用。
創(chuàng)建面板
面板（Panel）是 Grafana 中基本可視化構(gòu)建塊，每個面板都有一個特定于面板中選擇數(shù)據(jù)源的查詢編輯器，每個面板都有各種各樣的樣式和格式選項，面板可以在儀表板上拖放和重新排列，它們也可以調(diào)整大小，所以要在 Grafana 上創(chuàng)建可視化的圖表，面板是我們必須要掌握的知識點(diǎn)。
數(shù)據(jù)源
在創(chuàng)建面板之前我們需要指定我們的面板數(shù)據(jù)來源，也就是數(shù)據(jù)源，Grafana 支持多種數(shù)據(jù)源，我們這里當(dāng)然使用 Prometheus 作為數(shù)據(jù)源來進(jìn)行說明。在 Grafana 左側(cè)工具欄選擇 Configuration，點(diǎn)擊到下面的 Data sources，打開添加數(shù)據(jù)源的頁面：
點(diǎn)擊頁面中的 Add data source 按鈕開始添加數(shù)據(jù)源：
選擇第一項 Prometheus 數(shù)據(jù)源進(jìn)行配置：
在 HTTP 項中配置 URL 地址為 http://localhost:9090，其實(shí)就是 Prometheus 的地址，由于我們這里 Grafana 和 Prometheus 都在同一個節(jié)點(diǎn)上，所以用 localhost 即可訪問，當(dāng)然用 IP 也可以，Access 選擇默認(rèn)的 Server 代理方式，這樣就相當(dāng)于 Grafana 程序去訪問 Prometheus 而不是在瀏覽器端去訪問，如果 Prometheus 配置有認(rèn)證，則還需要在下發(fā)配置 Auth 信息，配置完成后，拉到最下方點(diǎn)擊 Save & test，提示添加成功即表面數(shù)據(jù)源添加成功了。然后在數(shù)據(jù)源列表中就會出現(xiàn)我們剛剛添加的 Prometheus 這個數(shù)據(jù)源了：
如果想要添加其他支持的數(shù)據(jù)源則也可用同樣的方式進(jìn)行添加。
添加面板
面板是屬于某一個 Dashboard 的，所以我們需要先創(chuàng)建一個 Dashboard，在側(cè)邊欄點(diǎn)擊 + 切換到 Dashboard 下面開始創(chuàng)建 Dashboard：
在默認(rèn)創(chuàng)建的新的 Dashboard 中就有一個空的面板，點(diǎn)擊 Add an empty panel 即可開始添加面板：
進(jìn)入面板編輯器后即可添加面板了，中間位置是查詢語句的顯示結(jié)果，下方是用于配置查詢語句的地方，左側(cè)可以選擇面板顯示的類型，面板元信息，比如標(biāo)題、描述信息等。
比如我們現(xiàn)在就要來查詢節(jié)點(diǎn)的 CPU 使用率，前面在 node_exporter 章節(jié)中已經(jīng)學(xué)習(xí)了該監(jiān)控數(shù)據(jù)的查詢語句為 (1 - sum(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) / sum(rate(node_cpu_seconds_total[5m])) by (instance) ) * 100，只需要將該語句填充到查詢的 PromQL 語句中即可在上面顯示出監(jiān)控的結(jié)果：
點(diǎn)擊右上角的 Apply 按鈕即可創(chuàng)建成功一個 Panel 面板。
用同樣的方式我們可以創(chuàng)建一個用于查詢節(jié)點(diǎn)內(nèi)存使用率的面板：
創(chuàng)建完成后的面板我們也可以拖動他們的排列位置：
如果還想重新編輯面板，可以點(diǎn)擊標(biāo)題，在彈出來的下拉框中選擇 Edit 編輯即可：
添加參數(shù)
現(xiàn)在我們在一個 Dashboard 中添加了兩個 Panel，我們可以很明顯看到會直接將所有的節(jié)點(diǎn)信息展示在同一個面板中，但是如果有非常多的節(jié)點(diǎn)的話數(shù)據(jù)量就非常大了，這種情況下我們最好的方式是將節(jié)點(diǎn)當(dāng)成參數(shù)，可以讓用戶自己去選擇要查看哪一個節(jié)點(diǎn)的監(jiān)控信息，要實(shí)現(xiàn)這個功能，我們就需要去添加一個以節(jié)點(diǎn)為參數(shù)的變量來去查詢監(jiān)控數(shù)據(jù)。
點(diǎn)擊 Dashboard 頁面右上方的 Dashboard settings 按鈕，進(jìn)入配置頁面：
在該 Settings 頁面可以來對整個 Dashboard 進(jìn)行配置，比如名稱、標(biāo)簽、變量等：
這里我們點(diǎn)擊左邊的 Variables 添加一個變量，變量支持更具交互性和動態(tài)性的儀表板，我們可以在它們的位置使用變量，而不是在指標(biāo)查詢中硬編碼，變量顯示為 Dashboard 頂部的下拉列表，這些下拉列表可以輕松更改儀表板中顯示的數(shù)據(jù)。
為了能夠選擇節(jié)點(diǎn)數(shù)據(jù)，這里我們定義了一個名為 instance 的變量名，但是定義的這個變量值從哪個地方獲取呢？
監(jiān)控節(jié)點(diǎn)的相關(guān)指標(biāo)是來源于名為 node-exporter 的任務(wù)，我們可以通過查詢 up 來獲取所有的監(jiān)控實(shí)例：
要想獲取到 instance 標(biāo)簽中的值，我們這里可以使用一個正則表達(dá)式 .*instance="(.*?)".* 來獲取實(shí)例數(shù)據(jù)，這樣就成功定義了一個變量，回到 Dashboard 頁面就可以看到多了一個選擇節(jié)點(diǎn)的下拉框：
但是這個時候的面板并不會隨著我們下拉框的選擇而變化，我們需要將 instance 這個變量傳入查詢語句中，比如重新修改CPU使用率的查詢語句：
用同樣的方式給內(nèi)存使用率添加根據(jù)節(jié)點(diǎn)過濾的參數(shù)：
回到 Dashboard 頁面就可以根據(jù)我們的下拉框來選擇需要監(jiān)控的節(jié)點(diǎn)數(shù)據(jù)了，定義參數(shù)的時候如果選擇了可以選擇所有，同樣可以查看所有節(jié)點(diǎn)的數(shù)據(jù)：
面板還有很多配置細(xì)節(jié)，請關(guān)注后續(xù)內(nèi)容......