ECS 内存吃满了别急着重启:从定位到释放的一次排查
服务器突然变慢,接口超时,登录都卡,查一眼监控:内存占用 98%。第一反应往往是重启——重启完内存确实下来了,业务也恢复了,可过几个小时,内存又悄悄爬了回去。重启治的是症状,不是病因。内存吃满了,先别急着重启,先搞清楚内存到底被谁吃掉了、是慢慢漏掉的还是一下子涨上去的,再决定怎么释放、怎么治本。
一、先分清:是内存真不够,还是缓存占着地方
内存占用高,不等于内存不够用。系统会把空闲内存拿去做磁盘缓存,加速文件读写,这部分缓存看着占了内存,实际上有需要时可以立刻让出来。所以第一步不是看占用率那个数字,而是看真正可用的内存还剩多少。
先看三组数字:总内存、已用内存里有多少是缓存和缓冲、真正能立刻分给新进程的可用内存。如果可用内存还很充足,只是缓存占得多,那服务器慢的原因可能根本不在内存上,别急着对内存动手,先去看 CPU、磁盘读写和网络。
再看交换区的使用情况。交换区是内存不够时,系统把一部分不常访问的内存数据临时放到磁盘上的地方。交换区长期被大量占用,说明内存确实长期吃紧;交换区基本没用,内存占用高又多半是缓存,那就不用慌。只看内存占用率一个数字,很容易误判。
还有一个容易忽略的点:看内存占用是突然涨上去的,还是一点点爬上去的。突然涨上去,往往和某一次发布、某一次大查询、某一批突发流量有关;一点点爬上去、重启后又从低位重新开始爬,往往是某个进程在缓慢泄漏内存。两种走势,排查方向完全不同,动手之前,先把走势看清楚。
这一步的目标很简单:写清楚三件事——可用内存还剩多少、交换区用了多少、内存是突涨还是慢爬。写清楚了再动手,后面每一步都有据可查。
二、定位吃内存的进程:按占用排序,再看增长
确认内存确实吃紧之后,下一步是找出是谁在吃内存。按内存占用从高到低排个序,大多数时候,前几名就占了内存的大头。
先看排在前面的进程是谁:是业务主进程、数据库,还是某个后台任务、某个定时脚本。业务进程占得多,不一定就是它有问题,还要看它占得多合不合理:一个本该只占几百兆的缓存服务占了几个吉字节,那就有问题;一个数据库占了机器一半内存,如果这本来就是它的配置,也可能是正常的。
再看每个进程的内存是在涨还是稳定。一个进程的内存占用今天比昨天多、明天比今天更多,重启后又从低位重新上涨,这就是泄漏的典型样子。一个进程的内存只在业务高峰时涨上去、高峰过了又降下来,那多半是业务量带来的正常波动,扩容或者限流才是方向,而不是去“修”这个进程。
还要把进程和时间点对上:内存开始涨的那个时间点,业务上发生了什么?是不是刚发布了新版本、刚跑了一批大任务、刚来了一波流量。时间点对上了,嫌疑进程基本就锁定了。时间点对不上,也别硬凑,继续往下看系统日志和业务日志,找找有没有报错、重试、堆积。
这一步做完,你手里应该有一张清单:占用最高的三个进程分别是谁、各占多少、是在涨还是稳定、开始涨的时间点对应着什么业务变化。有了这张清单,才轮到动手释放。
三、常见的四个元凶:缓存没上限、连接堆积、大任务一次全进内存
内存泄漏听起来吓人,实际工作中更常见的,是几种“写的时候没想到会涨这么多”的情况。
第一种,缓存没有上限。业务里加了一层内存缓存,本意是加速,结果缓存只进不出、越攒越多。缓存本身不是坏事,坏的是没有上限、没有过期、没有淘汰策略。缓存占满内存的那天,业务反而比没加缓存时更慢。给缓存设一个上限、设一个过期时间,超了就按规则淘汰,是最基本的兜底。
第二种,连接和任务堆积。接口调用量一上来,每个请求都开一个连接、起一个任务,请求处理完了,连接和任务却没有及时释放。单个看着不大,攒起来就很可观。排查时看一眼连接数和排队任务数,是不是在跟着内存一起涨;如果是,先把连接的超时和复用配好,再看任务是不是有重试风暴、是不是在反复处理同一批失败任务。
第三种,一次性把大东西全读进内存。一个大文件、一次大查询、一次全量同步,代码里一股脑全加载进来再处理,数据量小的时候没感觉,数据量一长就把内存撑满。改成按批次读、按分页查、边读边处理,内存占用立刻就能降下来。判断是不是这种情况,看内存突涨的时间点是不是正好对应着这类大任务的执行时间。
第四种,运行时或者容器没有设限。有的服务本身会按机器内存自动调整堆大小,机器内存越大,它拿得越多;容器里跑的服务如果没有设内存上限,一个失控的服务能把整台机器的内存都吃掉。给关键服务设一个明确的内存上限,超过就告警、甚至按策略重启单个服务,比等到整台机器被拖垮再处理要从容得多。
这四种情况,排查时不用一次全改,先确认是哪一种,再改那一种。内存问题最怕“感觉是这个问题”,改了一圈发现不是,白白折腾了业务。
四、应急释放:先留现场,再动手,别一上来就重启整机
内存已经吃满、业务已经受影响的时候,确实需要先应急释放。但应急也有顺序:先留现场,再动手;先动单个服务,再考虑整机。
留现场的意思是:动手之前,先把关键信息记下来——内存占用最高的几个进程是谁、各占多少、系统日志里最近有没有报错、业务日志里最近有没有异常。这几分钟的记录,是事后定位病因最重要的线索。直接重启整机,现场就没了,内存下来了,病因也丢了,下次还会再来一次。
动手时,优先处理嫌疑最大的单个服务。先试试优雅重启这个服务:让它先停掉新请求、处理完手头的任务再退出,而不是直接强行杀掉。优雅重启对业务的影响最小,也最容易验证效果:重启完这个服务,内存是不是真的下来了、业务是不是恢复了。如果内存下来了,说明方向找对了;如果内存没怎么动,说明嫌疑进程找错了,换一个方向,别在同一个服务上反复重启。
只有在单个服务重启无效、或者系统已经卡到连登录都困难的时候,才考虑重启整机。重启整机是最后的手段,不是第一步。重启之前,同样先确认一件事:重要的数据有没有落盘、有没有正在跑的、不能中断的任务。重启能解决一时的内存压力,解决不了泄漏和堆积,重启完了,还得接着做第五节的治本工作。
还有一个细节:释放系统缓存本身不是常规操作。缓存是可以被系统自动回收的,手动清缓存腾出来的内存,看着好看,实际业务马上又会因为缓存没了而变慢。应急时真正要释放的,是泄漏的、堆积的、失控的那部分内存,不是系统正常的缓存。
五、治本:设上限、做限流、加监控,扩容放在最后
应急释放完,内存下来了,工作才做了一半。治本要做三件事:设上限、做限流、加监控,扩容放在最后。
设上限,是给每个关键服务都定一个明确的内存天花板。缓存服务设缓存上限,业务服务设堆内存上限,容器设内存限制。超过上限就告警,超过到一定程度就按预案处理。上限不是为了限制业务,而是为了让一个服务失控时,不至于拖垮整台机器上的其他服务。
做限流,是对突发流量和大任务做分批。一次全量同步拆成多批跑,大查询改成按分页查,突发请求超过阈值就排队或者返回友好的提示,而不是让所有请求同时涌进来、一起把内存吃光。限流看起来是“拒绝了一部分请求”,实际上是保住了大部分请求的正常响应。
加监控,是把内存的三个信号都盯起来:可用内存、交换区使用量、占用最高的进程。只盯占用率一个数字不够,要盯可用内存是不是在持续下降、交换区是不是开始被大量使用、某个进程的内存是不是在持续上涨。告警阈值不要设得太晚:等到可用内存只剩百分之几才告警,留给处理的时间就不多了。提前半天、提前几个小时发现内存爬升的趋势,比半夜被“内存已满”的告警叫醒要从容得多。
扩容放在最后,是因为扩容只能解决“内存真的不够”这个问题,解决不了泄漏、堆积和没有上限的问题。内存从 8 吉字节扩到 16 吉字节,一个泄漏的进程只是晚几个小时再把内存吃满。先把泄漏找出来、把上限设好、把大任务拆开,确认业务在正常情况下确实需要更多内存,再去扩容。这时候扩的容,才是真正花在刀刃上的钱。
六、落地清单:内存吃满按这个顺序走
第一,先分清真假:看可用内存、交换区和增长走势,确认是内存真不够,还是缓存占着地方。第二,按占用排序定位嫌疑进程,看它在涨还是稳定、开始涨的时间点对应着什么业务变化。第三,对照四种常见元凶——缓存没上限、连接任务堆积、大任务一次全进内存、运行时容器没设限,确认是哪一种再动手。第四,应急时先留现场,再优雅重启嫌疑最大的单个服务,确认内存真的下来了,整机重启放在最后。第五,治本要做设上限、做限流、加监控三件事,扩容放在最后,先确认是真不够用再扩。
内存这件事,和磁盘一样,规划比救火更重要。业务在长,数据在涨,内存早晚会吃紧。定期看一眼内存的走势,提前发现缓慢上涨的进程,比半夜被内存告警叫醒要从容得多。内存吃满了不可怕,可怕的是不看走势、不留现场,上来就重启,重启完又什么都不改。按清单走一遍,内存问题就只是一件按顺序处理的小事。
- 点赞
- 收藏
- 关注作者
评论(0)