用 eBPF 定位偶发连接超时:一次从现象到根因的排查记录
线上有一类问题最难缠:不是持续报错,而是每天零星几次连接超时。监控面板上 QPS、CPU、内存都正常,日志里只有一行 context deadline exceeded,复现一次要等几个小时。本文记录一次真实排查过程:不靠猜,用 eBPF 把连接在哪一步丢的直接测出来。
一、先把现象拆成可观测的环节
一次 TCP 连接从客户端视角可以拆成四段:DNS 解析、SYN 发送与 SYN-ACK 返回、TLS 握手、应用层首字节。任何一段变慢,最终表现都可能是连接超时。如果只在应用层打点,看到的是总耗时,无法区分是 DNS 慢、握手慢,还是服务端 accept 队列满了。
所以第一步不是上工具,而是给每一段补时间戳。我们在客户端用 Go 的 net.Dialer 加自定义 Resolver 和 DialContext,把 DNS 耗时、TCP 建连耗时、TLS 握手耗时分别记录到结构体里,超时请求额外打印。
type dialTrace struct {
DNS time.Duration
TCP time.Duration
TLS time.Duration
}
start := time.Now()
addrs, err := resolver.LookupHost(ctx, host)
t.DNS = time.Since(start)
// 之后分别包裹 net.Dialer.DialContext 与 tls.Client.Handshake
这一步只花半天,却把超时从一团模糊变成了三个可比较的数字。
二、数字指向内核,而不是应用
统计一周的超时样本后,分布很清楚:DNS 与 TLS 都正常,99% 的时间花在 TCP 建连阶段,而且集中在每天的两个业务高峰。应用层没有重试风暴,服务端 CPU 也不高。这说明问题在连接建立路径上,可能是内核丢包、SYN 重传,或者服务端 backlog 溢出。
这时 tcpdump 也能用,但它的开销和抓包体积在高 QPS 下不可接受。我们改用 eBPF 在内核里做聚合统计:只统计重传、丢包和握手耗时,不落原始包。
三、用 bpftrace 观察 SYN 重传
先确认内核版本与 BTF 是否可用:
uname -r
ls /sys/kernel/btf/vmlinux
然后用 bpftrace 挂到 tcp_retransmit_skb,按进程聚合重传次数:
bpftrace -e '
kprobe:tcp_retransmit_skb
{
@retrans[comm, pid] = count();
}
interval:s:10 { print(@retrans); clear(@retrans); }
'
结果很有意思:重传集中在少数几个客户端 Pod,且这些 Pod 与服务端不在同一可用区。进一步用 tcpretrans 工具确认,重传的包绝大多数是 SYN,而不是数据包。SYN 重传意味着握手请求或响应在链路上丢了。
四、把丢包位置缩小到网卡与队列
接下来看两处:网卡的 drop 计数,以及接收队列的溢出。ethtool -S 能看到 rx_missed_errors、rx_fifo_errors 这类计数;nstat -az | grep -i drop 能看到内核协议栈的丢包统计。如果网卡侧没有增长,而协议栈有 ListenOverflows 或 ListenDrops 增长,问题就在 accept 队列。
我们观察到 ListenOverflows 在高峰时确实有增长,但量级远小于超时次数,不足以解释全部现象。真正可疑的是 conntrack 表的插入失败:nstat -az | grep -i conntrack 显示 insert_failed 与 drop 在同一时间段上升。
五、根因:conntrack 表满导致的静默丢包
继续用 eBPF 跟踪 nf_conntrack 的插入路径,统计失败原因:
bpftrace -e '
kprobe:nf_conntrack_in
{
@in = count();
}
tracepoint:skb:kfree_skb
/args->reason == 3/
{
@conntrack_drop[comm] = count();
}
'
kfree_skb 的 reason 为 3 对应 SKB_DROP_REASON_NETFILTER_DROP。结合 conntrack 的 insert_failed 计数,可以确认:高峰期新建连接速率超过了 conntrack 表的容量与回收速度,内核直接丢弃新连接的首包,客户端只能等到超时。
这也解释了为什么 CPU、内存都正常:丢包发生在很靠前的位置,没有产生大量日志,也没有把压力传到应用层。
六、修复与验证
修复分两步。第一,扩大 conntrack 表并缩短已建立连接的超时时间,让空闲连接更快回收:
sysctl -w net.netfilter.nf_conntrack_max=262144
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600
第二,在客户端给建连加指数退避重试,并对同一目标做连接池复用,减少高峰期的短连接数量。重试必须带抖动,否则会把瞬时压力放大成雪崩。
验证方式不是感觉好了,而是看三个指标同时回落:SYN 重传率、conntrack insert_failed、建连 P99。上线后一周,超时告警从每天数次降到零,建连 P99 从 800ms 降到 40ms。
七、几点经验
第一,先补分段耗时,再选工具。没有分段数据,eBPF 也只会给你更多看不懂的计数。
第二,eBPF 适合做聚合统计,不适合替代抓包做全量取证。先用它定位到具体环节,再在必要时对少量样本抓包。
第三,内核丢包往往没有应用日志。conntrack、listen 队列、网卡 ring buffer 这三处要形成固定检查清单。
第四,任何内核参数调整都要有回滚方案和观测指标。扩表只是缓解,减少短连接才是根治。
这次排查没有用到什么高深技巧,核心是把偶发超时拆成可测量的四段,再用 eBPF 把丢包位置从链路某处缩小到 conntrack 插入失败。工具只是手段,拆解问题的顺序才是关键。
- 点赞
- 收藏
- 关注作者
评论(0)