falcon-log-agent 簡介

falcon-log-agent 是一個開源版的日志采集工具，旨在從流式的日志中抓取、統(tǒng)計日志中的特征信息。

獲取的特征信息，與開源版 Open-Falcon 監(jiān)控系統(tǒng)打通?？捎糜跇I(yè)務(wù)指標(biāo)的衡量、也可用于穩(wěn)定性的建設(shè)。

特性

• 準(zhǔn)確可依賴：歷經(jīng)滴滴線上業(yè)務(wù)近一年考驗，統(tǒng)計準(zhǔn)確性高。

• 性能高、資源消耗可控：性能優(yōu)化程度高，單核單策略可支撐日志分析:20W條/秒

• 接入成本低：外掛式采集，只需要標(biāo)準(zhǔn)化日志即可；輸出數(shù)據(jù)直接對接 open-falcon。

附：滴滴公司 agent 升級前后資源占用對比圖 

什么是日志采集

日志采集，是一種外掛式的采集。通過讀取進(jìn)程打印的日志，來進(jìn)行監(jiān)控數(shù)據(jù)的采集與匯聚計算。

falcon-log-agent如何工作

本 agent 即日志采集場景下的實時計算。實時讀取文件內(nèi)容，實時計算，將計算結(jié)果直接推送至falcon。

限定條件

• 要求日志必須包含時間：不包含時間的日志，只能根據(jù)當(dāng)前時間統(tǒng)計日志條數(shù)，結(jié)果非常不準(zhǔn)確。

• 不支持文件軟鏈

• 日志時間必須有序：為了應(yīng)對日志延遲落盤等，agent會根據(jù)日志的時間來判斷某一周期的數(shù)據(jù)是否采集完成，如果日志時間順序錯亂，可能導(dǎo)致采集不準(zhǔn)。