wLogger：這個開源項目了不得
【公眾號回復(fù) “1024”，免費領(lǐng)取程序員賺錢實操經(jīng)驗】
大家好，我是章魚貓。
今天給大家推薦的這個開源項目，非常好。
這個開源項目就是：wLogger 。
它是一款集合日志采集，日志解析持久化存儲，web 流量實時監(jiān)控的開源項目。
wLogger 是一款集合 日志采集，日志解析持久化存儲，web 流量實時監(jiān)控 。三位一體的 web 服務(wù)流量監(jiān)控應(yīng)用。三大功能模塊均可獨立部署啟用互不干擾。目前已內(nèi)置 nginx 和 apache 的日志解析存儲器，簡單配置一下，開箱即用。雖然市面上已經(jīng)很多類似的開源日志采集監(jiān)控服務(wù)比如 goaccess，用了一圈之后始終沒有一款用的特別舒心。
它可以在日志采集的時候可以按照日志文件的大小，或者在指定時間內(nèi)自動對日志進(jìn)行切割日志，存儲到指定的目錄 （已測 2W 并發(fā)切割日志不丟數(shù)據(jù)）
它可以不用像 goaccess 那樣必須配置指定格式才能解析到數(shù)據(jù)，只用指定當(dāng)前使用的 nginx/apache 日志格式名稱 即可解析數(shù)據(jù)
它可以指定不同的項目走不同的隊列服務(wù)，分別解析存儲到不同的數(shù)據(jù)庫，完全可以自己按需靈活配置
它天然支持分布式，日志采集服務(wù)隊列已內(nèi)置 redis LIST 結(jié)構(gòu)，可執(zhí)行拓展 kafka ,mq 等其它隊列服務(wù)
它支持自定義持久化存儲引擎，日志解析持久化存儲服務(wù)已內(nèi)置 mongodb 和 mysql , 可執(zhí)行拓展其它數(shù)據(jù)庫
簡單配置，開箱即用，無入侵，高拓展，靈活配置，按需應(yīng)用
運行環(huán)境：python3+ linux 平臺
功能說明
采集器 inputer
實時日志采集,同時支持多個web日志同時采集
可指定按照日志文件大小或指定時間,自動切割文件到指定目錄, （日志切割不丟數(shù)據(jù).）
可自定義隊列服務(wù)軟件,接受采集的日志信息. 已內(nèi)置redis 如需kafka ?等其它mq隊列可自行拓展
極低的cpu內(nèi)存占用 ,低配小主機(jī)也能愉快的玩耍
解析存儲器 outputer
實時解析日志并存儲到指定的數(shù)據(jù)庫, 已內(nèi)置 mysql 和 mongodb 如需使用elastic全家桶或其它存儲引擎 可自行拓展
采集器,解析器,web服務(wù)均可 獨立分布到不同的服務(wù)器節(jié)點上運行
目前已內(nèi)置 nginx，apache 解析器, 可隨意指定日志格式, 只需在配置文件里面指定格式名稱即可正確解析并存儲
支持按日期天,周,月,年. 自動分表或集合存儲日志
支持指定工作進(jìn)程來快速消費隊列數(shù)據(jù),大流量也能實時解析并存儲日志, 虛擬機(jī)中ab 實測2W并發(fā)延遲小于1秒
注: 當(dāng)海量流量來的時候發(fā)現(xiàn)解析存儲延遲過高的情況,可將解析器部署到集群中其它多個節(jié)點同時消費隊列數(shù)據(jù),提升解析存儲效率
web服務(wù) web
已內(nèi)置大屏監(jiān)控web面板,流量情況一目了然
同時支持 mysql 或者 mongodb 作為 數(shù)據(jù)源
您也可以從數(shù)據(jù)庫中取數(shù)據(jù)自己定義流量監(jiān)控的 UI 界面和數(shù)據(jù)展現(xiàn)方式；
大屏實時監(jiān)控效果圖 本人顯示器太小，截圖略顯擁擠；
如果該項目有幫助到您，請不要吝嗇隨手給個 star，歡迎大家去 GitHub 上支持一波作者。
開源項目地址：https://github.com/jyolo/wLogger
開源項目作者：jyolo
---特別推薦---
特別推薦：一個新的優(yōu)質(zhì)的推薦高效工具，軟件，插件的公眾號，每天給大家分享優(yōu)秀的效率工具，「程序員掘金」，專門為程序員挖掘好東西的一個公眾號，非常值得大家關(guān)注。