沒想到，日志還能這么分析！

但日志涵蓋的信息遠(yuǎn)不止于此，比如對于 nginx 的 access.log 日志，我們可以根據(jù)日志信息分析用戶行為。

什么用戶行為呢？比如分析出哪個頁面訪問次數(shù)（PV）最多，訪問人數(shù)（UV）最多，以及哪天訪問量最多，哪個請求訪問最多等等。

這次，將用一個大概幾萬條記錄的 nginx 日志文件作為案例，一起來看看如何分析出「用戶信息」。

別急著開始

當(dāng)我們要分析日志的時候，先用 ls -lh 命令查看日志文件的大小，如果日志文件大小非常大，最好不要在線上環(huán)境做。

比如我下面這個日志就 6.5M，不算大，在線上環(huán)境分析問題不大。

如果日志文件數(shù)據(jù)量太大，你直接一個 cat 命令一執(zhí)行，是會影響線上環(huán)境，加重服務(wù)器的負(fù)載，嚴(yán)重的話，可能導(dǎo)致服務(wù)器無響應(yīng)。

當(dāng)發(fā)現(xiàn)日志很大的時候，我們可以使用 scp 命令將文件傳輸?shù)介e置的服務(wù)器再分析，scp 命令使用方式如下圖：

慎用 cat

大家都知道 cat 命令是用來查看文件內(nèi)容的，但是日志文件數(shù)據(jù)量有多少，它就讀多少，很顯然不適用大文件。

對于大文件，我們應(yīng)該養(yǎng)成好習(xí)慣，用 less 命令去讀文件里的內(nèi)容，因為 less 并不會加載整個文件，而是按需加載，先是輸出一小頁的內(nèi)容，當(dāng)你要往下看的時候，才會繼續(xù)加載。

可以發(fā)現(xiàn)，nginx 的 access.log 日志每一行是一次用戶訪問的記錄，從左到右分別包含如下信息：

• 客戶端的 IP 地址；

• 訪問時間；

• HTTP 請求的方法、路徑、協(xié)議版本、協(xié)議版本、返回的狀態(tài)碼；

• User Agent，一般是客戶端使用的操作系統(tǒng)以及版本、瀏覽器及版本等；

不過，有時候我們想看日志最新部分的內(nèi)容，可以使用 tail 命令，比如當(dāng)你想查看倒數(shù) 5 行的內(nèi)容，你可以使用這樣的命令：

如果你想實時看日志打印的內(nèi)容，你可以使用 tail -f 命令，這樣你看日志的時候，就會是阻塞狀態(tài)，有新日志輸出的時候，就會實時顯示出來。

PV ?分析

PV 的全稱叫 Page View，用戶訪問一個頁面就是一次 PV，比如大多數(shù)博客平臺，點擊一次頁面，閱讀量就加 1，所以說 PV 的數(shù)量并不代表真實的用戶數(shù)量，只是個點擊量。

對于 nginx 的 acess.log 日志文件來說，分析 PV 還是比較容易的，既然日志里的內(nèi)容是訪問記錄，那有多少條日志記錄就有多少 PV。

我們直接使用 wc -l 命令，就可以查看整體的 PV 了，如下圖一共有 49903 條 PV。

PV 分組

nginx 的 acess.log 日志文件有訪問時間的信息，因此我們可以根據(jù)訪問時間進(jìn)行分組，比如按天分組，查看每天的總 PV，這樣可以得到更加直觀的數(shù)據(jù)。

要按時間分組，首先我們先「訪問時間」過濾出來，這里可以使用 awk 命令來處理，awk 是一個處理文本的利器。

awk 命令默認(rèn)是以「空格」為分隔符，由于訪問時間在日志里的第 4 列，因此可以使用 awk '{print $4}' access.log 命令把訪問時間的信息過濾出來，結(jié)果如下：

上面的信息還包含了時分秒，如果只想顯示年月日的信息，可以使用 awk 的 substr 函數(shù)，從第 2 個字符開始，截取 11 個字符。

接著，我們可以使用 sort 對日期進(jìn)行排序，然后使用 uniq -c 進(jìn)行統(tǒng)計，于是按天分組的 PV 就出來了。

可以看到，每天的 PV 量大概在 2000-2800：

注意，使用 uniq -c 命令前，先要進(jìn)行 sort 排序，因為 uniq 去重的原理是比較相鄰的行，然后除去第二行和該行的后續(xù)副本，因此在使用 uniq 命令之前，請使用 sort 命令使所有重復(fù)行相鄰。

UV 分析

UV 的全稱是 Uniq Visitor，它代表訪問人數(shù)，比如公眾號的閱讀量就是以 UV 統(tǒng)計的，不管單個用戶點擊了多少次，最終只算 1 次閱讀量。

access.log 日志里雖然沒有用戶的身份信息，但是我們可以用「客戶端 IP 地址」來近似統(tǒng)計 UV。

該命令的輸出結(jié)果是 2589，也就說明 UV 的量為 2589。上圖中，從左到右的命令意思如下：

• awk '{print $1}' access.log，取日志的第 1 列內(nèi)容，客戶端的 IP 地址正是第 1 列；

• sort，對信息排序；

• uniq，去除重復(fù)的記錄；

• wc -l，查看記錄條數(shù)；

UV 分組

假設(shè)我們按天來分組分析每天的 UV 數(shù)量，這種情況就稍微比較復(fù)雜，需要比較多的命令來實現(xiàn)。

既然要按天統(tǒng)計 UV，那就得把「日期 + IP地址」過濾出來，并去重，命令如下：

具體分析如下：

• 第一次 ack 是將第 4 列的日期和第 1 列的客戶端 IP 地址過濾出來，并用空格拼接起來；

• 然后 sort 對第一次 ack 輸出的內(nèi)容進(jìn)行排序；

• 接著用 uniq 去除重復(fù)的記錄，也就說日期 +IP 相同的行就只保留一個；

上面只是把 UV 的數(shù)據(jù)列了出來，但是并沒有統(tǒng)計出次數(shù)。

如果需要對當(dāng)天的 UV 統(tǒng)計，在上面的命令再拼接 awk '{uv[$1]++;next}END{for (ip in uv) print ip, uv[ip]}' 命令就可以了，結(jié)果如下圖：

awk 本身是「逐行」進(jìn)行處理的，當(dāng)執(zhí)行完一行后，我們可以用 next 關(guān)鍵字來告訴 awk 跳轉(zhuǎn)到下一行，把下一行作為輸入。

對每一行輸入，awk 會根據(jù)第 1 列的字符串（也就是日期）進(jìn)行累加，這樣相同日期的 ip 地址，就會累加起來，作為當(dāng)天的 uv 數(shù)量。

之后的 END 關(guān)鍵字代表一個觸發(fā)器，就是當(dāng)前面的輸入全部完成后，才會執(zhí)行 END {} 中的語句，END 的語句是通過 foreach 遍歷 uv 中所有的 key，打印出按天分組的 uv 數(shù)量。

終端分析

nginx 的 access.log 日志最末尾關(guān)于 User Agent 的信息，主要是客戶端訪問服務(wù)器使用的工具，可能是手機(jī)、瀏覽器等。

因此，我們可以利用這一信息來分析有哪些終端訪問了服務(wù)器。

User Agent 的信息在日志里的第 12 列，因此我們先使用 awk 過濾出第 12 列的內(nèi)容后，進(jìn)行 sort 排序，再用 uniq -c 去重并統(tǒng)計，最后再使用 sort -rn（r 表示逆向排序， n 表示按數(shù)值排序） 對統(tǒng)計的結(jié)果排序，結(jié)果如下圖：

分析 TOP3 的請求

access.log 日志中，第 7 列是客戶端請求的路徑，先使用 awk 過濾出第 7 列的內(nèi)容后，進(jìn)行 sort 排序，再用 uniq -c 去重并統(tǒng)計，然后再使用 sort -rn 對統(tǒng)計的結(jié)果排序，最后使用 head -n 3 分析 TOP3 的請求，結(jié)果如下圖：