tcplstat網(wǎng)絡(luò)監(jiān)控工具
tcplstat是基于libpcap網(wǎng)絡(luò)嗅探程序包的網(wǎng)絡(luò)監(jiān)控工具，它能旁路捕獲所有經(jīng)過網(wǎng)絡(luò)設(shè)備過濾規(guī)則的TCP數(shù)據(jù)，跟蹤當前所有TCP連接會話，記錄所有經(jīng)過的TCP分組，當連接斷開或到達最大記錄數(shù)時倒出統(tǒng)計信息，包含但不限于連接兩端網(wǎng)絡(luò)地址、建立時間戳、三步握手各分組延遲、四步分手各分組延遲，數(shù)據(jù)分組明細、往來分組間延遲和相反方向分組延遲的最小、平均、最大統(tǒng)計值。
tcplstat在旁路工作，所以不會對應(yīng)用造成任何影響，也無需侵入應(yīng)用，即可獲得網(wǎng)絡(luò)數(shù)據(jù)往來分組明細和統(tǒng)計信息。
tcplstat在實現(xiàn)基礎(chǔ)網(wǎng)絡(luò)監(jiān)控功能時還實現(xiàn)了采集分析SQL耗時和HTTP耗時信息，同樣也是旁路捕獲，不影響應(yīng)用也無需改造應(yīng)用，幫助應(yīng)用優(yōu)化性能。
tcplstat是開源的，除了引用了Linux內(nèi)核的紅黑樹和鏈表源碼外，自身源碼只有1500行左右，源碼結(jié)構(gòu)簡單易讀。
安裝
（理論上tcplstat可以安裝在任何有l(wèi)ibpcap的環(huán)境，包括Linux、WINDOWS、AIX等，以下以Linux操作系統(tǒng)為例）
2.1. 源碼編譯安裝
從tcplstat源碼托管站點（網(wǎng)址在最后）下載最新源碼包，解開并進入源碼目錄
$ tar xvzf tcplstat.tar.gz ... ￥ cd tcplstat/src
按需修改安裝目錄
$ vi makeinstall _BINBASE = $(HOME)/bin
注意：編譯環(huán)境需要開發(fā)包libpcap-devel，請預(yù)先安裝好。
編譯、安裝tcplstat
$ make -f makefile.Linux gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c list.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c rbtree.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c rbtree_ins.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c Util.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c main.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c PcapCallback.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c ProcessTcpPacket.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c AddTcpPacket.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I/home/calvin/include -I. -I/home/calvin/include -c OutputTcplSession.c gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o tcplstat list.o rbtree.o rbtree_ins.o Util.o main.o PcapCallback.o ProcessTcpPacket.o AddTcpPacket.o OutputTcplSession.o -L/home/calvin/lib -L. -L/home/calvin/lib -lpcap $ make -f makefile.Linux install cp -rf tcplstat /home/calvin/bin/
編譯鏈接只產(chǎn)生了一個可執(zhí)行程序tcplstat，也可自行復(fù)制到目標目錄。
顯示版本信息
$ tcplstat -v tcplstat v0.5.0 build Feb 6 2018 22:40:44 copyright by calvin<[email protected]> 2018
使用
命令行參數(shù)說明
不帶命令行參數(shù)執(zhí)行顯示所有命令行參數(shù)
$ tcplstat USAGE : tcplstat -v -l [ -i (network_interface) ] [ -f (filter_string) ] [ -o [ESPDd] ] [ --sql ] [ --http ] [ --max-packet-trace-count ] [ --log-file (pathfilename) ] -o E : Output EVENT S : Output SESSION P : Output PACKET D : Output PACKET DATA d : Output DEBUG --sql : Output SQL time elapse NOTICE : See pcap-filter(7) for the syntax of filter
-
-i設(shè)置網(wǎng)絡(luò)設(shè)備接口，不設(shè)置則默認使用any -
-f設(shè)置網(wǎng)絡(luò)過濾規(guī)則，比如tcp port 445嗅探所有連接到端口445的往來TCP分組，具體參見pcap-filter(7) -
-o一旦捕獲到TCP分組，輸出數(shù)據(jù)類型，E表示輸出分組事件，S表示連接斷開輸出會話統(tǒng)計信息，P表示連接斷開輸出TCP分組統(tǒng)計信息，D表示連接斷開輸出TCP分組數(shù)據(jù)信息，d表示輸出調(diào)試信息 -
--sql捕獲SQL統(tǒng)計耗時信息 -
--http捕獲HTTP統(tǒng)計耗時信息 -
--max-packet-trace-count針對長連接不釋放，總是不能偵測到連接斷開也就不能輸出會話總結(jié)信息，該選項設(shè)置TCP分組累積到多少時強制輸出并清空TCP分組明細信息，默認為1000，下次輸出會話統(tǒng)計信息時前綴從'E |'變成'E -' -
--log-file輸出到日志文件，不設(shè)置文件則輸出到屏幕
注意：執(zhí)行tcplstat需要root權(quán)限。
一個示例（即時輸出TCP分組事件）
第一屏運行tcplstat
# tcplstat -f "tcp port 445" -o E
第二屏向445端口發(fā)送一個字符串，然后被samba服務(wù)器無情強行斷開
$ echo "hello" | nc 114.215.179.129 445
第一屏輸出
E | 2018-02-07T20:09:21.249992 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[44200] DPORT[445] SEQ[3750544418] ACKSEQ[0] SYN[1] ACK[0] FIN[0] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.250004 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[445] DPORT[44200] SEQ[974809372] ACKSEQ[3767321634] SYN[1] ACK[1] FIN[0] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.250018 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[44200] DPORT[445] SEQ[3767321634] ACKSEQ[991586588] SYN[0] ACK[1] FIN[0] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.251501 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[44200] DPORT[445] SEQ[3767321634] ACKSEQ[991586588] SYN[0] ACK[1] FIN[0] PSH[1] RST[0] URG[0] | [6]BYTES E | 0 1 2 3 4 5 6 7 8 9 A B C D E F 0123456789ABCDEF E | 0x00000000 68 65 6C 6C 6F 0A hello. E | 2018-02-07T20:09:21.251507 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[445] DPORT[44200] SEQ[991586588] ACKSEQ[3867984930] SYN[0] ACK[1] FIN[0] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.251661 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[44200] DPORT[445] SEQ[3867984930] ACKSEQ[991586588] SYN[0] ACK[1] FIN[1] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.256246 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[445] DPORT[44200] SEQ[991586588] ACKSEQ[3884762146] SYN[0] ACK[1] FIN[1] PSH[0] RST[0] URG[0] | [0]BYTES E | 2018-02-07T20:09:21.256267 | LHT[113] | SMAC[] DMAC[] | SIP[114.215.179.129] DIP[114.215.179.129] | SPORT[44200] DPORT[445] SEQ[3884762146] ACKSEQ[1008363804] SYN[0] ACK[1] FIN[0] PSH[0] RST[0] URG[0] | [0]BYTES ...
E開頭的行為一個TCP分組，各列分別是發(fā)生時間戳、鏈路層頭結(jié)構(gòu)、發(fā)送方MAC、接收方MAC、發(fā)送方IP、接收方IP、發(fā)送方PORT、接收方PORT、序列號、反饋序列號、分組類型標志集合、有效荷載數(shù)據(jù)長度。
另一個示例（短連接斷開后輸出統(tǒng)計信息）
第一屏運行tcplstat
# tcplstat -f "tcp port 445" -o SPD
第二屏向445端口發(fā)送一個字符串，然后被samba服務(wù)器無情強行斷開
$ echo "hello" | nc 114.215.179.129 445
第一屏輸出
S | [114.215.179.129:44205]->[114.215.179.129:445] | 2018-02-07T20:20:41.903338 | 0.016535 | 0.000016 0.000015 , 0.000006 0.000741 0.001477 0.000006 0.000749 0.001492 , 0.000036 0.014964 0.000021 | 2 6 P | 2018-02-07T20:20:41.903338 | 0.000000 0.000000 | [114.215.179.129:44205]->[114.215.179.129:445] | S..... 0 P | 2018-02-07T20:20:41.903354 | 0.000016 0.000016 | [114.215.179.129:44205]<-[114.215.179.129:445] | S..A.. 0 P | 2018-02-07T20:20:41.903369 | 0.000015 0.000015 | [114.215.179.129:44205]->[114.215.179.129:445] | ...A.. 0 P | 2018-02-07T20:20:41.904846 | 0.001477 0.001492 | [114.215.179.129:44205]->[114.215.179.129:445] | ..PA.. 6 D | 0 1 2 3 4 5 6 7 8 9 A B C D E F 0123456789ABCDEF D | 0x00000000 68 65 6C 6C 6F 0A hello. P | 2018-02-07T20:20:41.904852 | 0.000006 0.000006 | [114.215.179.129:44205]<-[114.215.179.129:445] | ...A.. 0 P | 2018-02-07T20:20:41.904888 | 0.000036 0.000036 | [114.215.179.129:44205]->[114.215.179.129:445] | .F.A.. 0 P | 2018-02-07T20:20:41.919852 | 0.014964 0.014964 | [114.215.179.129:44205]<-[114.215.179.129:445] | .F.A.. 0 P | 2018-02-07T20:20:41.919873 | 0.000021 0.000021 | [114.215.179.129:44205]->[114.215.179.129:445] | ...A.. 0 ...
S開頭的行為一個連接統(tǒng)計信息，各列分別是連接方地址、被連接方地址、建立連接時間戳、連接總存在時間、三步握手各分組延遲、四步分手各分組延遲、往來分組間延遲和相反方向分組延遲的最小、平均、最大統(tǒng)計值，總分組數(shù)，有效載荷數(shù)據(jù)總大小。
P開頭的行為一個連接中的一個TCP分組統(tǒng)計信息，各列分別是分組發(fā)生時間戳、往來分組間延遲和相反方向分組延遲、連接方地址、分組發(fā)送方向、被連接方地址、分組類型標志集合、有效荷載數(shù)據(jù)長度。
可以看出，自己想獲得什么樣的數(shù)據(jù)，就組合命令行參數(shù)-o后面的字母集合即可，最詳細的信息參數(shù)組合是ESPDd
再一個示例（采集統(tǒng)計SQL耗時）
捕獲SQL的原理很簡單，檢查每一個TCP分組中是否存在SQL語句，如果有則做個標記，等待下一個有效載荷的反向TCP分組到來后，計算時間差即是SQL執(zhí)行時間。
這里以PostgreSQL為例，MySQL、Oracle等同樣有效。
第一屏運行tcplstat
# tcplstat -f "tcp port 8432" --sql
第二屏用psql打開數(shù)據(jù)庫連接，查詢所有表總記錄數(shù)
calvin=# \d 關(guān)聯(lián)列表 架構(gòu)模式 | 名稱 | 型別 | 擁有者 ----------+------------------------------------------+--------+-------- public | alphastock_company_info | 資料表 | calvin public | alphastock_company_ipo | 資料表 | calvin public | alphastock_stock_code | 資料表 | calvin public | alphastock_stock_kline | 資料表 | calvin public | alphastock_stock_kline_max_closing_price | 資料表 | calvin public | financing_chinawealth | 資料表 | calvin public | whoispider_domain | 資料表 | calvin (7 行記錄) calvin=# select count(*) from alphastock_company_info; count ------- 3596 (1 行記錄) calvin=# select count(*) from alphastock_company_ipo ; count ------- 3596 (1 行記錄) calvin=# select count(*) from alphastock_stock_code ; count ------- 3596 (1 行記錄) calvin=# select count(*) from alphastock_stock_kline ; count --------- 8826375 (1 行記錄) calvin=# select count(*) from financing_chinawealth ; calvin-# ; count -------- 168148 (1 行記錄)
第一屏輸出
Q | 2018-02-07T20:28:07.978745 0.000869 | select count(*) from alphastock_company_info; Q | 2018-02-07T20:28:10.427744 0.000605 | select count(*) from alphastock_company_ipo ; Q | 2018-02-07T20:28:12.923744 0.000737 | select count(*) from alphastock_stock_code ; Q | 2018-02-07T20:28:15.291747 42.884759 | select count(*) from alphastock_stock_kline ; Q | 2018-02-07T20:29:35.218747 3.505407 | select count(*) from financing_chinawealth ; ...
Q開頭的行為一條SQL耗時統(tǒng)計，各列是開始執(zhí)行時間戳、執(zhí)行耗時、SQL語句。
可以看到表alphastock_stock_kline很大，SQLselect count(*) from alphastock_stock_kline花了42秒，表alphastock_company_ipo很小，SQLselect count(*) from alphastock_company_ipo花了0.6毫秒。
整個采集統(tǒng)計過程完全以旁路方式進行，不影響應(yīng)用也無需侵入應(yīng)用。
最后
歡迎使用tcplstat，如果你使用中碰到了問題請告訴我，謝謝 ^_^