Go 后端线上排障:从 502 到根因的三条排查链
线上服务最让人头疼的不是报错本身,而是报错只给你一个数字。用户说“小程序打不开了”,你打开一看是 502 Bad Gateway——网关说后端没响应,但后端到底是死了、卡住了,还是根本没收到请求?这三者修法完全不同。我的做法是按三条排查链走:先分清责任在谁,再顺着链往下找,多数问题半小时内能定位。
第一链:先看进程在不在。第一步永远是确认后端进程还活着。systemctl status 看一眼服务状态,再 ps 确认进程在不在,最后 curl 127.0.0.1:端口/health 从本机直接打一次后端。如果本机 curl 通、网关却报 502,问题在网关到后端之间:大概率是反向代理配置里的上游地址或端口写错了,或者后端监听的是 127.0.0.1 而网关走了别的地址。如果本机 curl 也不通,先看端口还在不在监听:ss -tlnp 一查就知道进程是不是真的起来了,还是启动后立刻退出了。进程反复重启时别只看最后一次日志,用 journalctl -u 服务名 --since "30 minutes ago" 看完整的重启记录,崩溃循环往往在日志里留下重复的同一行报错。
第二链:进程活着,但请求卡住了。进程在、端口在、本机 curl 却超时或极慢,这是第二种情况:服务没死,只是被卡住了。先看资源:top 看 CPU 是不是被某个 goroutine 占满,free -m 看内存是不是逼近上限,df -h 看磁盘是不是满了——磁盘一满,日志写不进去、数据库写不进去,服务会以各种奇怪的方式变慢。资源没问题就看依赖:数据库连接池打满是最常见的卡点,连接数到了上限,新请求只能排队等,表现就是接口整体变慢直至超时。SHOW PROCESSLIST 或连接池的监控指标能直接看到排队长度。下游接口超时也一样:一个慢的上游能拖垮所有等它的请求,超时时间必须设得比网关的超时更短,否则网关先断开,你看到的就是 502。
第三链:请求到了,但被错误地拒绝了。第三种情况最隐蔽:服务正常、依赖正常,但特定请求就是 502 或 500。这时要看请求本身:是不是请求体太大超过了网关的 client_max_body_size,是不是某个 Header 太大,是不是 URL 里带了网关规则拦截的字符。把网关的错误日志和后端的访问日志按时间戳对齐:网关日志里有请求但后端日志里没有,说明请求在网关层就被拦了;两边都有,但后端返回了 500,说明问题在业务逻辑里。还有一类是重启瞬间丢请求:部署时旧进程已停、新进程还没就绪,网关把请求发给了正在关闭的进程。办法是让后端先停流量再停进程,配合健康检查摘掉节点,滚动更新时这个问题就消失了。
小结:排障的顺序就是止血的顺序。先确认进程和端口,再查资源和依赖,最后对齐两边日志看请求本身。每一步只验证一个假设,验证完再往下一步走,不要凭感觉同时改三处配置。排障时顺手把三件事记下来:当时的监控截图、最后定位到的根因、修完之后验证通过的命令。下次同样报错,你翻记录三分钟就能复用这条链。线上出问题不可怕,可怕的是每次都从零开始猜。
- 点赞
- 收藏
- 关注作者
评论(0)