記一次 Linux服務(wù)器被入侵后的排查思路
來源：https://www.jianshu.com/p/afc845cf9cc9
賬號(hào)安全：
1、用戶信息文件 /etc/passwd
#?格式：account:password:UID:GID:GECOS:directory:shell
#?用戶名：密碼：用戶ID：組ID：用戶說明：家目錄：登陸之后的 shell
root:x:0:0:root:/root:/bin/bash
#?查看可登錄用戶：
cat?/etc/passwd?|?grep?/bin/bash
#?查看UID=0的用戶
awk?-F:?'$3==0{print?$1}'?/etc/passwd
#?查看sudo權(quán)限的用戶
more?/etc/sudoers?|?grep?-v?"^#\|^$"?|?grep?"ALL=(ALL)"
注意：無密碼只允許本機(jī)登陸，遠(yuǎn)程不允許登陸
2、影子文件：/etc/shadow
#?用戶名：加密密碼：密碼最后一次修改日期：兩次密碼的修改時(shí)間間隔：密碼有效期：密碼修改到期到的警告天數(shù)：密碼過期之后的寬限天數(shù)：賬號(hào)失效時(shí)間：保留
root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::
3、查看當(dāng)前登錄用戶及登錄時(shí)長
who?????#?查看當(dāng)前登錄系統(tǒng)的所有用戶（tty?本地登陸??pts?遠(yuǎn)程登錄）
w???????#?顯示已經(jīng)登錄系統(tǒng)的所用用戶，以及正在執(zhí)行的指令
uptime??#?查看登陸多久、多少用戶，負(fù)載狀態(tài)
4、排查用戶登錄信息
查看最近登錄成功的用戶及信息
#?顯示logged?in表示用戶還在登錄
#?pts表示從SSH遠(yuǎn)程登錄
#?tty表示從控制臺(tái)登錄，就是在服務(wù)器旁邊登錄
last
查看最近登錄失敗的用戶及信息：
#?ssh表示從SSH遠(yuǎn)程登錄
#?tty表示從控制臺(tái)登錄
sudo?lastb
顯示所有用戶最近一次登錄信息：
lastlog
在排查服務(wù)器的時(shí)候，黑客沒有在線，可以使用last命令排查黑客什么時(shí)間登錄的有的黑客登錄時(shí)，會(huì)將/var/log/wtmp文件刪除或者清空，這樣我們就無法使用last命令獲得有用的信息了。
在黑客入侵之前，必須使用chattr +a對(duì)/var/log/wtmp文件進(jìn)行鎖定，避免被黑客刪除
5、sudo用戶列表
/etc/sudoers
入侵排查：
#?查詢特權(quán)用戶特權(quán)用戶(uid 為0)：
awk?-F:?'$3==0{print?$1}'?/etc/passwd
#?查詢可以遠(yuǎn)程登錄的帳號(hào)信息：
awk?'/\$1|\$6/{print?$1}'?/etc/shadow
#?除root帳號(hào)外，其他帳號(hào)是否存在sudo權(quán)限。如非管理需要，普通帳號(hào)應(yīng)刪除sudo權(quán)限：
more?/etc/sudoers?|?grep?-v?"^#\|^$"?|?grep?"ALL=(ALL)"
#?禁用或刪除多余及可疑的帳號(hào)
usermod?-L?user????#?禁用帳號(hào)，帳號(hào)無法登錄，/etc/shadow?第二欄為?!?開頭
userdel?user???????#?刪除?user?用戶
userdel?-r?user????#?將刪除?user?用戶，并且將?/home?目錄下的?user?目錄一并刪除
通過.bash\_history文件查看帳號(hào)執(zhí)行過的系統(tǒng)命令：
打開 /home 各帳號(hào)目錄下的 .bash_history，查看普通帳號(hào)執(zhí)行的歷史命令。
為歷史的命令增加登錄的 IP 地址、執(zhí)行命令時(shí)間等信息：
#?1、保存1萬條命令：
sed?-i?'s/^HISTSIZE=1000/HISTSIZE=10000/g'?/etc/profile
#?2、在/etc/profile的文件尾部添加如下行數(shù)配置信息：
USER_IP=`who?-u?am?i?2>/dev/null?|?awk?'{print?$NF}'?|?sed?-e?'s/[()]//g'`
if?[?"$USER_IP"?=?""?]
then
USER_IP=`hostname`
fi
export?HISTTIMEFORMAT="%F?%T?$USER_IP?`whoami`?"
shopt?-s?histappend
export?PROMPT_COMMAND="history?-a"
#?3、讓配置生效
source?/etc/profile
注意：歷史操作命令的清除：history -c
該操作并不會(huì)清除保存在文件中的記錄，因此需要手動(dòng)刪除.bash\_profile文件中的記錄
檢查端口連接情況：
netstat?-antlp?|?more
使用 ps 命令，分析進(jìn)程，得到相應(yīng)pid號(hào):
ps?aux?|?grep?6666?
查看 pid 所對(duì)應(yīng)的進(jìn)程文件路徑：
#?$PID?為對(duì)應(yīng)的?pid?號(hào)
ls?-l?/proc/$PID/exe?或?file?/proc/$PID/exe
分析進(jìn)程：
#?根據(jù)pid號(hào)查看進(jìn)程
lsof?-p?6071
#?通過服務(wù)名查看該進(jìn)程打開的文件
lsof?-c?sshd
#?通過端口號(hào)查看進(jìn)程：
lsof?-i?:22
查看進(jìn)程的啟動(dòng)時(shí)間點(diǎn)：
ps?-p?6071?-o?lstart
根據(jù)pid強(qiáng)行停止進(jìn)程：
kill?-9?6071
注意： 如果找不到任何可疑文件，文件可能被刪除，這個(gè)可疑的進(jìn)程已經(jīng)保存到內(nèi)存中，是個(gè)內(nèi)存進(jìn)程。這時(shí)需要查找PID 然后kill掉
檢查開機(jī)啟動(dòng)項(xiàng)：
系統(tǒng)運(yùn)行級(jí)別示意圖：
| 運(yùn)行級(jí)別 | 含義 |
|---|---|
| 0 | 關(guān)機(jī) |
| 1 | 單用戶模式，可以想象為windows的安全模式，主要用于系統(tǒng)修復(fù) |
| 2 | 不完全的命令行模式，不含NFS服務(wù) |
| 3 | 完全的命令行模式，就是標(biāo)準(zhǔn)字符界面 |
| 4 | 系統(tǒng)保留 |
| 5 | 圖形模式 |
| 6 | 重啟動(dòng) |
查看運(yùn)行級(jí)別命令：
runlevel
開機(jī)啟動(dòng)配置文件:
/etc/rc.local
/etc/rc.d/rc[0~6].d
啟動(dòng)Linux系統(tǒng)時(shí)，會(huì)運(yùn)行一些腳本來配置環(huán)境——rc腳本。在內(nèi)核初始化并加載了所有模塊之后，內(nèi)核將啟動(dòng)一個(gè)守護(hù)進(jìn)程叫做init或init.d。這個(gè)守護(hù)進(jìn)程開始運(yùn)行/etc/init.d/rc中的一些腳本。這些腳本包括一些命令，用于啟動(dòng)運(yùn)行Linux系統(tǒng)所需的服務(wù)
開機(jī)執(zhí)行腳本的兩種方法：
在/etc/rc.local的exit 0語句之間添加啟動(dòng)腳本。腳本必須具有可執(zhí)行權(quán)限 用update-rc.d命令添加開機(jī)執(zhí)行腳本
1、編輯修改/etc/rc.local
2、update-rc.d：此命令用于安裝或移除System-V風(fēng)格的初始化腳本連接。腳本是存放在/etc/init.d/目錄下的，當(dāng)然可以在此目錄創(chuàng)建連接文件連接到存放在其他地方的腳本文件。
此命令可以指定腳本的執(zhí)行序號(hào)，序號(hào)的取值范圍是 0-99，序號(hào)越大，越遲執(zhí)行。
當(dāng)我們需要開機(jī)啟動(dòng)自己的腳本時(shí)，只需要將可執(zhí)行腳本丟在/etc/init.d目錄下，然后在/etc/rc.d/rc_.d文件中建立軟鏈接即可
語法：
update-rc.d 腳本名或服務(wù)
#1、在/etc/init.d目錄下創(chuàng)建鏈接文件到后門腳本：
ln?-s?/home/b4yi/kali-6666.elf?/etc/init.d/backdoor
#2、用?update-rc.d?命令將連接文件?backdoor?添加到啟動(dòng)腳本中去
sudo?update-rc.d?backdoor?defaults?99
開機(jī)即執(zhí)行。
入侵排查：
more?/etc/rc.local
/etc/rc.d/rc[0~6].d
ls?-l?/etc/rc.d/rc3.d/
計(jì)劃任務(wù)排查：
需要注意的幾處利用cron的路徑：
crontab?-l??#?列出當(dāng)前用戶的計(jì)時(shí)器設(shè)置
crontab?-r??#?刪除當(dāng)前用戶的cron任務(wù)
上面的命令實(shí)際上是列出了/var/spool/cron/crontabs/root該文件的內(nèi)容：
/etc/crontab只允許root用戶修改/var/spool/cron/存放著每個(gè)用戶的crontab任務(wù)，每個(gè)任務(wù)以創(chuàng)建者的名字命名/etc/cron.d/將文件寫到該目錄下，格式和/etc/crontab相同把腳本放在 /etc/cron.hourly/、/etc/cron.daily/、/etc/cron.weekly/、/etc/cron.monthly/目錄中，讓它每小時(shí)/天/星期/月執(zhí)行一次
小技巧：
more?/etc/cron.daily/*??查看目錄下所有文件
入侵排查：
重點(diǎn)關(guān)注以下目錄中是否存在惡意腳本;
/var/spool/cron/*?
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/*?
/etc/cron.hourly/*?
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*
入侵排查：
查詢已安裝的服務(wù)：
RPM 包安裝的服務(wù)：
chkconfig??--list??查看服務(wù)自啟動(dòng)狀態(tài)，可以看到所有的RPM包安裝的服務(wù)
ps?aux?|?grep?crond?查看當(dāng)前服務(wù)
系統(tǒng)在3與5級(jí)別下的啟動(dòng)項(xiàng)?
中文環(huán)境
chkconfig?--list?|?grep?"3:啟用\|5:啟用"
英文環(huán)境
chkconfig?--list?|?grep?"3:on\|5:on"
源碼包安裝的服務(wù):
查看服務(wù)安裝位置?，一般是在/user/local/
service?httpd?start
搜索/etc/rc.d/init.d/??查看是否存在
異常文件檢查：
按照三種方式查找修改的文件：
按照名稱 依據(jù)文件大小 按照時(shí)間查找
根據(jù)名稱查找文件
find?/?-name?a.Test
#?如果文件名記不全，可使用通配符*來補(bǔ)全
#?如果不區(qū)分大小寫，可以將-name?替換為-iname
依據(jù)文件大小查找：
find?/?-size?+1000M
#?+1000M表示大于1000M的文件，-10M代表小于10M的文件
依據(jù)時(shí)間查找：
#?-atime?文件的訪問時(shí)間
#?-mtime?文件內(nèi)容修改時(shí)間
#?-ctime?文件狀態(tài)修改時(shí)間（文件權(quán)限，所有者/組，文件大小等，當(dāng)然文件內(nèi)容發(fā)生改變，ctime也會(huì)隨著改變）
#?要注意：系統(tǒng)進(jìn)程/腳本訪問文件，atime/mtime/ctime也會(huì)跟著修改，不一定是人為的修改才會(huì)被記錄
#?查找最近一天以內(nèi)修改的文件：
find?/?-mtime?-1?-ls??|?more?
#?查找50天前修改的文件：
find?./?-mtime?+50?-ls
根據(jù)屬主和屬組查找：
-user?根據(jù)屬主查找
-group?根據(jù)屬組查找
-nouser?查找沒有屬主的文件
-nogroup?查找沒有屬組的文件
#?查看屬主是root的文件
find?./?-user?root?-type?f
#?-type?f表示查找文件，-type?d表示查找目錄
#?注意：系統(tǒng)中沒有屬主或者沒有屬組的文件或目錄，也容易造成安全隱患，建議刪除。
按照CPU使用率從高到低排序：
ps?-ef?--sort?-pcpu
按照內(nèi)存使用率從高到低排序：
ps?-ef?--sort?-pmem
補(bǔ)充：
1、查看敏感目錄，如/tmp目錄下的文件，同時(shí)注意隱藏文件夾，以“..”為名的文件夾具有隱藏屬性。
2、得到發(fā)現(xiàn)WEBSHELL、遠(yuǎn)控木馬的創(chuàng)建時(shí)間，如何找出同一時(shí)間范圍內(nèi)創(chuàng)建的文件？
可以使用find命令來查找，如find /opt -iname "*" -atime 1 -type f 找出 /opt 下一天前訪問過的文件。
3、針對(duì)可疑文件可以使用 stat 進(jìn)行創(chuàng)建修改時(shí)間。
系統(tǒng)日志檢查：
日志默認(rèn)存放位置：/var/log/
必看日志：secure、history
查看日志配置情況：more /etc/rsyslog.conf
| 日志文件 | 說明 |
|---|---|
| /var/log/cron | 記錄了系統(tǒng)定時(shí)任務(wù)相關(guān)的日志 |
| /var/log/cups | 記錄打印信息的日志 |
| /var/log/dmesg | 記錄了系統(tǒng)在開機(jī)時(shí)內(nèi)核自檢的信息，也可以使用dmesg命令直接查看內(nèi)核自檢信息 |
| /var/log/mailog | 記錄郵件信息 |
| /var/log/message | 記錄系統(tǒng)重要信息的日志。這個(gè)日志文件中會(huì)記錄Linux系統(tǒng)的絕大多數(shù)重要信息，如果系統(tǒng)出現(xiàn)問題時(shí)，首先要檢查的就應(yīng)該是這個(gè)日志文件 |
| /var/log/btmp | 記錄錯(cuò)誤登錄日志，這個(gè)文件是二進(jìn)制文件，不能直接vi查看，而要使用lastb命令查看 |
| /var/log/lastlog | 記錄系統(tǒng)中所有用戶最后一次登錄時(shí)間的日志，這個(gè)文件是二進(jìn)制文件，不能直接vi，而要使用lastlog命令查看 |
| /var/log/wtmp | 永久記錄所有用戶的登錄、注銷信息，同時(shí)記錄系統(tǒng)的啟動(dòng)、重啟、關(guān)機(jī)事件。同樣這個(gè)文件也是一個(gè)二進(jìn)制文件，不能直接vi，而需要使用last命令來查看 |
| /var/log/utmp | 記錄當(dāng)前已經(jīng)登錄的用戶信息，這個(gè)文件會(huì)隨著用戶的登錄和注銷不斷變化，只記錄當(dāng)前登錄用戶的信息。同樣這個(gè)文件不能直接vi，而要使用w,who,users等命令來查詢 |
| /var/log/secure | 記錄驗(yàn)證和授權(quán)方面的信息，只要涉及賬號(hào)和密碼的程序都會(huì)記錄，比如SSH登錄，su切換用戶，sudo授權(quán)，甚至添加用戶和修改用戶密碼都會(huì)記錄在這個(gè)日志文件中 |
/var/log/wtmp?登錄進(jìn)入，退出，數(shù)據(jù)交換、關(guān)機(jī)和重啟紀(jì)錄
/var/log/lastlog 文件記錄用戶最后登錄的信息，可用 lastlog 命令來查看。
/var/log/secure 記錄登入系統(tǒng)存取數(shù)據(jù)的文件，例如 pop3/ssh/telnet/ftp 等都會(huì)被記錄。
/var/log/cron?與定時(shí)任務(wù)相關(guān)的日志信息
/var/log/message?系統(tǒng)啟動(dòng)后的信息和錯(cuò)誤日志
/var/log/apache2/access.log?apache?access?log
日志分析技巧：
1、定位有多少IP在爆破主機(jī)的root帳號(hào)：????
grep?"Failed?password?for?root"?/var/log/secure?|?awk?'{print?$11}'?|?sort?|?uniq?-c?|?sort?-nr?|?more
定位有哪些IP在爆破：
grep?"Failed?password"?/var/log/secure|grep?-E?-o?"(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq?-c
爆破用戶名字典是什么？
grep?"Failed?password"?/var/log/secure|perl?-e?'while($_=<>){?/for(.*?)?from/;?print?"$1\n";}'|uniq?-c|sort?-nr
?
2、登錄成功的IP有哪些：???
grep?"Accepted?"?/var/log/secure?|?awk?'{print?$11}'?|?sort?|?uniq?-c?|?sort?-nr?|?more
登錄成功的日期、用戶名、IP：
grep?"Accepted?"?/var/log/secure?|?awk?'{print?$1,$2,$3,$9,$11}'?
3、增加一個(gè)用戶kali日志：
Jul?10?00:12:15?localhost?useradd[2382]:?new?group:?name=kali,?GID=1001
Jul?10?00:12:15?localhost?useradd[2382]:?new?user:?name=kali,?UID=1001,?GID=1001,?home=/home/kali
,?shell=/bin/bash
Jul?10?00:12:58?localhost?passwd:?pam_unix(passwd:chauthtok):?password?changed?for?kali
#grep?"useradd"?/var/log/secure?
4、刪除用戶kali日志：
Jul?10?00:14:17?localhost?userdel[2393]:?delete?user?'kali'
Jul?10?00:14:17?localhost?userdel[2393]:?removed?group?'kali'?owned?by?'kali'
Jul?10?00:14:17?localhost?userdel[2393]:?removed?shadow?group?'kali'?owned?by?'kali'
#?grep?"userdel"?/var/log/secure
5、su切換用戶：
Jul?10?00:38:13?localhost?su:?pam_unix(su-l:session):?session?opened?for?user?good?by?root(uid=0)
sudo授權(quán)執(zhí)行:
sudo?-l
Jul?10?00:43:09?localhost?sudo:????good?:?TTY=pts/4?;?PWD=/home/good?;?USER=root?;?COMMAND=/sbin/shutdown?-r?now
webshell查殺:
河馬 WebShell 查殺：http://www.shellpub.com
Linux安全檢查腳本:
https://github.com/grayddq/GScan
https://github.com/ppabc/security_check
https://github.com/T0xst/linux
- END -
?推薦閱讀? Nginx為什么快到根本停不下來？ 用了3年Kubernetes，我們得到的5個(gè)教訓(xùn) vivo 公司 Kubernetes 集群 Ingress 網(wǎng)關(guān)實(shí)踐 Kubernetes 兩年使用經(jīng)驗(yàn)總結(jié) Linux 運(yùn)維必備的 40 個(gè)命令總結(jié)，收好了~ 大白話理解Session和Cookie是什么？ 系統(tǒng)架構(gòu)性能優(yōu)化思路 運(yùn)維工程師必備技能：網(wǎng)絡(luò)排錯(cuò)思路大講解~
點(diǎn)亮，服務(wù)器三年不宕機(jī)
