接口超时别只加 timeout:用 curl 分段定位 DNS、TCP、TLS 与首字节
接口调用超时,是线上最常见的故障表象之一。很多人的第一反应是把 timeout 从 3 秒改成 10 秒、再改成 30 秒。超时报错暂时少了,但慢请求并没有消失:它们只是从“快速失败”变成了“缓慢拖垮线程池”,最后往往演变成雪崩。真正有效的做法,是先把一次请求的耗时拆开,看时间到底花在了哪一段,再决定修哪里。curl 自带的 -w 参数,就是最顺手的分段计时工具,不用装任何抓包软件。
一、先跑一条命令,拿到五个时间点
curl -o /dev/null -s -w 'DNS:%{time_namelookup}\nTCP:%{time_connect}\nTLS:%{time_appconnect}\nTTFB:%{time_starttransfer}\nTotal:%{time_total}\n' https://api.example.com/health
这五个值都是“从请求开始到该阶段完成”的累计耗时,单位是秒。它们各自的含义是:time_namelookup 是 DNS 解析完成的时间;time_connect 是 TCP 三次握手完成的时间;time_appconnect 是 TLS 握手完成的时间,只有 HTTPS 请求才有意义,HTTP 请求该值等于 time_connect;time_starttransfer 是收到服务端第一个字节的时间,也就是常说的 TTFB;time_total 是整个请求完成的时间。
只看累计值还不够,真正的分段耗时要用差值算出来:DNS 耗时 = time_namelookup;TCP 建连耗时 = time_connect - time_namelookup;TLS 握手耗时 = time_appconnect - time_connect;服务端处理加首字节回传耗时 = time_starttransfer - time_appconnect;响应体传输耗时 = time_total - time_starttransfer。把这五个差值排成一行,慢在哪一段一目了然。建议对同一个接口连测三到五次,取中位数再判断,单次结果容易被偶发的网络抖动带偏。
二、按顺序排查:先外后内
排查要按请求链路的顺序来,从外到内逐段排除,不要跳过前面的段直接怀疑应用代码。
第一段看 DNS。如果 time_namelookup 就占了总耗时的很大一部分,问题出在域名解析。常见原因包括:本地 DNS 服务器响应慢或丢包、域名解析记录 TTL 设置不合理、内网 DNS 与公网 DNS 走了绕路的解析路径。验证办法是换一个 DNS 服务器对比,例如用 dig 或 nslookup 直接向 114.114.114.114 或 223.5.5.5 查询同一域名;也可以用 curl --resolve 把域名强制解析到指定 IP,绕过 DNS 再测一次,如果耗时立刻恢复正常,基本可以锁定是 DNS 的问题。修复方向是:检查 /etc/resolv.conf 中的 nameserver 配置,换用响应稳定的 DNS,必要时在服务端做本地 hosts 或 DNS 缓存。
第二段看 TCP。如果 time_connect 减去 time_namelookup 后的值偏大,说明 TCP 建连本身就慢。常见原因包括:客户端到服务端的网络链路质量差、跨地域或跨境链路延迟高、中间防火墙或安全组对新建连接有限速、服务端 listen 队列满导致 SYN 被丢弃后重传。验证办法是 ping 测往返延迟,mtr 看哪一跳开始丢包或延迟突增。修复方向是:就近部署或使用加速链路,检查安全组与防火墙规则,适当调大服务端 backlog,确认不存在针对新建连接的限速策略。
第三段看 TLS。如果 time_appconnect 减去 time_connect 的值偏大,说明 TLS 握手拖了后腿。常见原因包括:证书链过长、证书中携带的 OCSP 地址不可达、服务端只支持较慢的 TLS 版本或加密套件、服务端 CPU 在高峰期吃紧。用 curl -v 可以看到握手过程的详细步骤,openssl s_client -connect 域名:443 可以查看证书链与协商的 TLS 版本。修复方向是:精简证书链并开启 OCSP Stapling,优先协商 TLS 1.3,让支持的客户端复用会话,会话复用可以把后续握手的开销降到很低。
第四段看 TTFB。如果前三段都正常,time_starttransfer 却很大,说明时间花在了服务端内部。常见原因包括:应用接口本身逻辑慢、数据库慢查询、调用了同样很慢的下游接口、服务端线程池或连接池耗尽导致请求排队。这时 curl 已经帮不上更多忙,需要结合服务端日志、慢查询日志和 APM 监控,看请求在服务端内部到底卡在哪一步。要注意区分 TTFB 慢和传输慢:如果 time_total 减去 time_starttransfer 的值也很大,说明响应体本身很大或带宽不足,优化方向是压缩响应、分页返回、减少不必要的字段,而不是去优化接口逻辑。
三、两个容易踩的坑
第一个坑是 timeout 只加不分。连接超时和读取超时是两回事。curl 里 --connect-timeout 控制的是建连阶段的最长等待时间,–max-time 控制的是整个请求的最长耗时。很多客户端也有类似的两个参数,例如 connectTimeout 与 readTimeout。只把总超时调大,不区分阶段,会让建连阶段的异常也被拖成慢请求。合理的做法是连接超时设得短一些,例如 3 秒,读取超时按接口的正常耗时留出余量;超过连接超时的请求基本可以判定为网络或服务端不可达,快速失败反而有利于触发熔断和切换。
第二个坑是重试放大故障。接口超时后无脑重试三次,等于把一个慢接口的压力放大三倍。本来只是个别慢请求,重试之后线程池更快被占满。重试一定要有限次、有退避间隔,并且只对幂等请求重试;写操作没有幂等设计时,盲目重试可能造成重复下单、重复扣款。超时、重试、熔断要一起设计,而不是只调一个 timeout 数字。
四、一份可以直接用的排查清单
拿到超时告警后,按这个顺序做:第一步,用上面的 curl -w 命令连测三次,算出五段差值;第二步,哪一段占比最大就先查哪一段,DNS 大就查解析,TCP 大就查链路与防火墙,TLS 大就查证书与版本,TTFB 大就查服务端日志与慢查询;第三步,修复后重新测同一条命令做对比,确认耗时回到正常区间再收尾;第四步,把分段耗时接入监控,对 time_starttransfer 和 time_total 做分位数告警,而不是只对总超时告警。这样下一次超时发生时,值班同学打开监控就能直接看到是哪一段变慢了,不用再从头猜。
超时本身不是病,超时背后的分段耗时才是诊断书。把 timeout 当成唯一的调节旋钮,等于把体温计当成退烧药。下次再遇到接口超时,先跑一条 curl -w,让数据告诉你时间花在了哪里。
- 点赞
- 收藏
- 关注作者
评论(0)