服务重启就好了,别急着结单:先把现场留下来
服务出问题,重启往往是最快的恢复手段,几分钟就能把业务拉回来。但重启也是最容易把线索清掉的操作:内存里的状态、没落盘的日志、当时那几个异常的指标,重启之后全没了。等下次再出同样的问题,还是只能凭感觉猜。所以重启之前,先花两分钟把现场留下来,恢复和排障可以并行,不冲突。
第一步是留一份当时的快照。把进程状态、内存和 CPU 占用、连接数、队列长度这些一眼能看的东西截下来,顺手把最近几分钟的日志导出一份。不要只凭“我看了一眼,内存挺高”就去重启,事后没人能复核你当时到底看到了什么。快照不用多正式,能还原现场就行。
第二步是记下触发条件。问题是在什么操作之后出现的?是流量一上来就垮,还是某个定时任务跑完才开始抖?当时有没有发布、改配置、切流量?把这几条按时间写下来,很多“偶发”问题排到最后,都会发现它其实有固定的触发点,只是当时没人记。
第三步是先恢复,再排障,但别把两件事混成一件。重启可以先做,业务恢复优先;但重启不等于问题解决了,单子也不能就此结掉。恢复之后,拿着刚才留下的快照去对:指标是在哪个点开始偏离的,日志里第一条异常出现在哪一行,从异常到服务不可用隔了多久。没有现场,排障就只能靠复现,而很多线上问题恰恰复现不出来。
最后还有一个小习惯:把这次的现场和结论写进值班记录,哪怕只有三五行。下次同样的问题再来,接手的人不用从零开始问“上次是怎么好的”,直接看记录就能接着查。重启解决的是这一次,记录解决的是下一次。
总结一下:重启之前先留快照、记下触发条件,恢复之后凭现场排障、把结论写进记录。服务可以重启,但线索不能跟着一起重启没了。
- 点赞
- 收藏
- 关注作者
评论(0)