服务器疑似被入侵?从异常进程、定时任务到溯源清理的排查清单
服务器跑着跑着,CPU 莫名其妙长期满载,带宽半夜突然被打满,或者账单上多出一笔说不清的流量。第一反应往往是“是不是业务量涨了”,查了一圈却发现,涨的不是业务,而是一台你不认识的进程——它在挖矿、在对外发包、在悄悄下载东西。
服务器被入侵并不可怕,可怕的是慌。慌了就容易做两件错事:第一件事是立刻重启,以为重启能把问题“清掉”,结果把内存里的证据、攻击者还没落盘的痕迹一起清掉了;第二件事是只删掉眼前那个可疑进程,以为删了就干净了,结果后门还在定时任务里躺着,几分钟后又长出来一模一样的进程。
入侵排查有一套固定顺序:先留证据,再看现状;先找到所有落脚点,再一次性清理;最后堵住入口、验证干净。按这个顺序走,一台服务器半天就能查清、恢复。下面就是这套流程。
一、先别慌、别重启:先留证据,再动手
发现异常的第一步不是修,而是留证据。证据有两个用处:一是帮你找到入口,二是万一要报案、要找云厂商协助溯源,证据在才有得谈。证据一旦被覆盖,很多问题就永远查不清了。
先做三件事。第一,拍一张快照。快照是整台机器当前磁盘状态的定格,拍完之后随便折腾都有退路。注意快照只能保住磁盘,内存里的东西它保不住,所以拍快照之前不要重启,不要停掉可疑进程,先把“现在这样子”定格下来。
第二,把关键日志拷一份出来。认证日志、系统日志、Web 服务的访问日志、数据库的慢日志,凡是最近几天有记录的,都先复制到另一台机器或本地电脑上。日志是最容易被攻击者清理的东西,晚一步就可能只剩下一片空白。拷出来之后再慢慢看,不用当场读完。
第三,记下你发现异常的时间点和现象:CPU 是什么时候开始满的、哪个进程占得最多、对外连了哪些地址、账单异常是从哪天开始的。把这些写下来,后面溯源时要按时间倒推,时间点越准,查得越快。写完这三样,再开始动手查。
还有一个原则:排查期间,尽量不要在这台服务器上继续跑核心业务。如果条件允许,先把业务流量切到备用机器上,或者把这台机器从负载均衡里摘下来。让一台可能被控制的机器继续对外提供服务,等于让攻击者继续拿着你的招牌干活。业务先保住,排查再慢慢做。
二、看异常进程与网络连接:谁在跑、连向哪
证据留好之后,先看现状:现在到底是谁在消耗资源、连向哪里。排查从“活的”东西开始,因为进程和网络连接是正在发生的攻击行为,最直观,也最容易被删掉重建。
先看进程。按 CPU 和内存占用排序,排在前面的进程逐个过:名字认不认识、启动时间对不对得上、是谁启动的。挖矿程序常常伪装成系统进程的名字,比如拼写上差一个字母,或者藏在临时目录、隐藏目录里运行。一个判断小技巧:正常系统进程的启动路径大多在系统目录下,一个“系统进程”却从临时目录里跑出来,基本就有问题。还要注意那些启动时间很新、但你最近根本没部署过东西的进程。
再看网络连接。列出当前所有对外连接,重点看两类:第一类是连向陌生地址、尤其是境外地址的长连接;第二类是监听着你没开过的端口的服务。正常的业务连接,目标地址应该是你认识的数据库、对象存储、API 服务;一台 Web 服务器半夜持续向某个陌生地址发包,或者监听着一个你从没配过的端口,那就是异常信号。把可疑地址记下来,后面溯源和封禁都要用。
还要看一眼资源消耗的全貌:CPU 满载是不是只有一个进程造成的、内存是不是被某个进程一点点吃光的、磁盘 IO 是不是突然变大了、带宽峰值出现在什么时间段。这些现象合在一起,往往能指向一类攻击:CPU 满载加对外发包,可能是挖矿;带宽半夜打满,可能是被当成了发包跳板;磁盘 IO 暴涨,可能是有人在批量读写你的数据。
这一步的目标不是立刻下结论,而是列出一张“可疑清单”:可疑进程、可疑连接、可疑端口、可疑时间段。清单列出来,后面每一步都是拿着清单去验证、去深挖。
三、查定时任务与启动项:后门最爱藏的地方
只杀掉可疑进程是不够的。攻击者最常用的手法,是在机器里留一个“复活点”:进程被杀了,过几分钟,定时任务又把它拉起来。排查清单上如果只写了进程,没写复活点,清理就等于白做。
定时任务要逐个用户查,不能只看自己的。系统级的定时任务、每个用户的个人定时任务、还有那些按小时、按分钟触发的计划任务,都要翻一遍。重点看三类:执行路径指向临时目录、隐藏目录或一串看不懂的字符的;执行内容是一段下载命令、解码命令或反向连接命令的;创建时间很新、但你想不起来自己加过的。正常的定时任务,执行的都是备份脚本、日志清理、证书续期这类你认识的活;一条定时任务半夜去下载一个脚本并执行,基本就是后门。
启动项同样要查。系统启动时自动运行的服务、开机自启的脚本、用户登录时自动执行的配置,都是后门喜欢藏身的地方。一个服务如果名字起得像系统服务、描述却含糊不清,或者指向的程序路径不在系统目录里,就要重点怀疑。还有一类藏得更深的:攻击者会修改已有服务的启动脚本,在正常服务里加一行自己的命令,服务本身照常运行,恶意命令顺带执行。这种要靠对比启动脚本的修改时间来发现:一个你很久没动过的服务,启动脚本却在最近被改过,就值得打开看一眼。
查完这两处,再回头看第二步的可疑进程:它的复活点找到了没有?如果找到了,记下来,先别急着删。清理要等所有落脚点都找齐了再一次性动手,提前打草惊蛇,攻击者可能换个地方再藏一个。
四、查账号与登录记录:有没有多出来的用户和密钥
后门藏好了,还要能进来。攻击者得手之后,常常会给自己留一把“备用钥匙”:新建一个用户、加一把密钥、改一个配置,下次正门关上了,还能从备用钥匙进来。
先看用户列表。系统里现在有哪些用户、哪些有登录权限、哪些是最近新建的。重点看那些名字像系统用户、却有登录权限的账号,以及创建时间很新、你想不起来建过的账号。正常的服务器,用户数量是稳定的,多出一个来就是信号。再看每个用户的授权密钥文件:里面躺着几把钥匙、都是谁的、有没有你不认识的。前面 SSH 加固那篇里讲过,公钥文件里躺着“早就不用的旧钥匙”是通病,入侵排查时,这些旧钥匙要重点怀疑——攻击者最喜欢把自己的钥匙混在旧钥匙堆里。
再看登录记录。最近几天都有谁登录过、从哪里登录的、登录成功了几次、失败了几次。重点看三类记录:凌晨或你根本没上线的时间段的成功登录;来自你没去过的地址的登录;短时间内大量失败后突然成功的那一次——那往往就是密码被撞中的时刻。登录记录还要和定时任务、进程的启动时间对照:某个可疑进程是凌晨三点启动的,登录记录里凌晨三点正好有一次陌生登录,时间对上,入口就基本锁定了。
还要检查密码和密钥的改动记录:有没有用户的密码最近被改过、有没有密钥文件最近被动过。攻击者有时不会新建用户,而是直接改掉一个不常用用户的密码,或者往它的密钥文件里加一把自己的钥匙。这种改动不看文件修改时间是发现不了的,所以这一步要和文件时间线一起看。
五、溯源:从时间线倒推入口
前面四步收集到的东西,拼在一起就是一条时间线。溯源就是沿着这条时间线往回倒,回答一个问题:攻击者最开始是从哪里进来的?
入口无非几种。第一种是弱口令或泄露的密钥。登录记录里有陌生登录成功、登录时间又对得上可疑进程的启动时间,入口大概率就是这里。对应措施是改掉所有密码、清理所有密钥、按 SSH 加固篇的做法只保留密钥登录。
第二种是应用漏洞。Web 服务的访问日志里,如果在某个时间点前后出现大量针对某个接口的异常请求,比如尝试上传文件、尝试注入、尝试访问管理后台,入口可能就是这个应用。对应措施是升级应用、修掉漏洞、检查上传目录里有没有多出来的文件。
第三种是未及时更新的系统或组件漏洞。系统日志里如果在攻击发生前有异常的服务崩溃、重启记录,或者某个组件的版本正好在已知漏洞的影响范围内,入口可能就是这里。对应措施是打补丁、升级组件,更新前先拍快照。
溯源时要把所有线索按时间排好:第一次异常登录是什么时候、第一个可疑进程是什么时候启动的、定时任务是什么时候建的、可疑文件是什么时候写进来的。时间最早的那个点,往往离入口最近。如果几条线索的时间对不上,说明可能漏了一个落脚点,回去再查一遍第三步和第四步。
溯源的结论不用写得很学术,写清楚三句话就够了:入口是什么、攻击者留了哪些后门、数据有没有被动过。数据有没有被动过要特别确认:数据库有没有异常查询、敏感文件有没有被读取或打包、备份文件有没有被动过。数据泄露的性质和单纯挖矿不一样,后续处理也完全不同。
六、清理与恢复:删后门、改口令、打补丁、验证干净
所有落脚点找齐、入口确认之后,才动手清理。清理的顺序也有讲究:先断网、再清理、最后恢复。
第一步,断开可疑的对外连接,必要时暂时切断这台机器的公网访问。清理过程中如果攻击者还连着机器,你删一个他补一个,永远清不完。断网不是关机,机器还开着,排查还能继续,只是攻击者的手被挡在外面了。
第二步,按清单一次性清理:杀掉可疑进程、删掉定时任务里的后门、清理启动项、删掉多余用户和陌生密钥、删掉可疑文件。清理时要按清单来,一个一个打勾,不要凭印象删。删掉的东西先别急着彻底销毁,重要的可疑文件可以先隔离保存一份,万一后面还要溯源,还有东西可查。
第三步,改掉所有可能泄露的凭证:所有用户的密码、所有密钥、数据库密码、应用的密钥和令牌。只改被入侵那个用户的密码是不够的,攻击者拿到一台机器后,第一件事往往是翻遍机器找其他凭证。一台机器被入侵,同一套密码的其他机器也要一起改。
第四步,堵住入口:打补丁、升级有漏洞的应用、按 SSH 加固篇的做法收紧登录。入口不堵,清理完用不了几天又会被同样的方法进来一次。
第五步,验证干净。清理完不要立刻恢复业务,先观察一段时间:可疑进程有没有再出现、定时任务有没有被重新加上、网络连接里还有没有陌生地址、CPU 和带宽是不是恢复正常。观察期里每天看一次日志,连续几天都没异常,才算真的干净。如果条件允许,用快照回滚到攻击发生之前的干净状态,再重做必要的更新和配置,也是一种稳妥的恢复方式——但回滚会丢掉回滚点之后的数据,动手前要先确认哪些数据需要先导出来。
七、落地清单:发现异常后按这个顺序走
第一,先拍快照、拷日志、记下异常现象和时间点,不要重启。第二,列可疑清单:异常进程、对外连接、陌生端口、异常时间段。第三,查定时任务和启动项,找到后门的复活点,先记下来别急着删。第四,查用户、密钥和登录记录,确认有没有多出来的账号和钥匙,锁定入口时间。第五,把线索按时间排好,倒推入口,确认数据有没有被动过。第六,断网后一次性清理,改掉所有凭证,堵住入口,观察几天确认干净再恢复业务。
入侵排查拼的不是技术有多高深,而是顺序不能乱、清单不能漏。先留证据再动手,先找齐落脚点再清理,先堵入口再恢复业务,每一步都做到位,服务器被入侵一次,也能变成一次把家底彻底清查一遍的机会。真正的安全,从来不是“没被攻击过”,而是“被攻击了也知道它从哪来、藏在哪、怎么清干净”。
- 点赞
- 收藏
- 关注作者
评论(0)