用 eBPF 定位偶发连接超时:一次从现象到根因的排查记录

举报
yd_239224089 发表于 2026/11/14 11:24:46 2026/11/14
【摘要】 一次偶发连接超时的排查记录:把建连拆成 DNS、TCP、TLS 三段补齐耗时,用 bpftrace 观察 SYN 重传与 kfree_skb 丢包原因,最终定位到 conntrack 表满导致的静默丢包,并给出扩表、缩短超时与连接池复用的修复和验证指标。

线上有一类问题最难缠:不是持续报错,而是每天零星几次连接超时。监控面板上 QPS、CPU、内存都正常,日志里只有一行 context deadline exceeded,复现一次要等几个小时。本文记录一次真实排查过程:不靠猜,用 eBPF 把连接在哪一步丢的直接测出来。

一、先把现象拆成可观测的环节

一次 TCP 连接从客户端视角可以拆成四段:DNS 解析、SYN 发送与 SYN-ACK 返回、TLS 握手、应用层首字节。任何一段变慢,最终表现都可能是连接超时。如果只在应用层打点,看到的是总耗时,无法区分是 DNS 慢、握手慢,还是服务端 accept 队列满了。

所以第一步不是上工具,而是给每一段补时间戳。我们在客户端用 Go 的 net.Dialer 加自定义 Resolver 和 DialContext,把 DNS 耗时、TCP 建连耗时、TLS 握手耗时分别记录到结构体里,超时请求额外打印。

type dialTrace struct {
    DNS time.Duration
    TCP time.Duration
    TLS time.Duration
}

start := time.Now()
addrs, err := resolver.LookupHost(ctx, host)
t.DNS = time.Since(start)
// 之后分别包裹 net.Dialer.DialContext 与 tls.Client.Handshake

这一步只花半天,却把超时从一团模糊变成了三个可比较的数字。

二、数字指向内核,而不是应用

统计一周的超时样本后,分布很清楚:DNS 与 TLS 都正常,99% 的时间花在 TCP 建连阶段,而且集中在每天的两个业务高峰。应用层没有重试风暴,服务端 CPU 也不高。这说明问题在连接建立路径上,可能是内核丢包、SYN 重传,或者服务端 backlog 溢出。

这时 tcpdump 也能用,但它的开销和抓包体积在高 QPS 下不可接受。我们改用 eBPF 在内核里做聚合统计:只统计重传、丢包和握手耗时,不落原始包。

三、用 bpftrace 观察 SYN 重传

先确认内核版本与 BTF 是否可用:

uname -r
ls /sys/kernel/btf/vmlinux

然后用 bpftrace 挂到 tcp_retransmit_skb,按进程聚合重传次数:

bpftrace -e '
kprobe:tcp_retransmit_skb
{
  @retrans[comm, pid] = count();
}
interval:s:10 { print(@retrans); clear(@retrans); }
'

结果很有意思:重传集中在少数几个客户端 Pod,且这些 Pod 与服务端不在同一可用区。进一步用 tcpretrans 工具确认,重传的包绝大多数是 SYN,而不是数据包。SYN 重传意味着握手请求或响应在链路上丢了。

四、把丢包位置缩小到网卡与队列

接下来看两处:网卡的 drop 计数,以及接收队列的溢出。ethtool -S 能看到 rx_missed_errors、rx_fifo_errors 这类计数;nstat -az | grep -i drop 能看到内核协议栈的丢包统计。如果网卡侧没有增长,而协议栈有 ListenOverflows 或 ListenDrops 增长,问题就在 accept 队列。

我们观察到 ListenOverflows 在高峰时确实有增长,但量级远小于超时次数,不足以解释全部现象。真正可疑的是 conntrack 表的插入失败:nstat -az | grep -i conntrack 显示 insert_failed 与 drop 在同一时间段上升。

五、根因:conntrack 表满导致的静默丢包

继续用 eBPF 跟踪 nf_conntrack 的插入路径,统计失败原因:

bpftrace -e '
kprobe:nf_conntrack_in
{
  @in = count();
}
tracepoint:skb:kfree_skb
/args->reason == 3/
{
  @conntrack_drop[comm] = count();
}
'

kfree_skb 的 reason 为 3 对应 SKB_DROP_REASON_NETFILTER_DROP。结合 conntrack 的 insert_failed 计数,可以确认:高峰期新建连接速率超过了 conntrack 表的容量与回收速度,内核直接丢弃新连接的首包,客户端只能等到超时。

这也解释了为什么 CPU、内存都正常:丢包发生在很靠前的位置,没有产生大量日志,也没有把压力传到应用层。

六、修复与验证

修复分两步。第一,扩大 conntrack 表并缩短已建立连接的超时时间,让空闲连接更快回收:

sysctl -w net.netfilter.nf_conntrack_max=262144
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600

第二,在客户端给建连加指数退避重试,并对同一目标做连接池复用,减少高峰期的短连接数量。重试必须带抖动,否则会把瞬时压力放大成雪崩。

验证方式不是感觉好了,而是看三个指标同时回落:SYN 重传率、conntrack insert_failed、建连 P99。上线后一周,超时告警从每天数次降到零,建连 P99 从 800ms 降到 40ms。

七、几点经验

第一,先补分段耗时,再选工具。没有分段数据,eBPF 也只会给你更多看不懂的计数。

第二,eBPF 适合做聚合统计,不适合替代抓包做全量取证。先用它定位到具体环节,再在必要时对少量样本抓包。

第三,内核丢包往往没有应用日志。conntrack、listen 队列、网卡 ring buffer 这三处要形成固定检查清单。

第四,任何内核参数调整都要有回滚方案和观测指标。扩表只是缓解,减少短连接才是根治。

这次排查没有用到什么高深技巧,核心是把偶发超时拆成可测量的四段,再用 eBPF 把丢包位置从链路某处缩小到 conntrack 插入失败。工具只是手段,拆解问题的顺序才是关键。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。