用 eBPF 给长连接协议做零侵入观测

举报
yd_246468676 发表于 2026/11/16 00:06:05 2026/11/16
【摘要】 一、挂载点怎么选

一、挂载点怎么选

[wanglaowu]长连接协议的最佳挂载点并不在 syscall 层,而在 socket 与协议栈衔接的钩子上。以 HTTP/2 或自研 RPC 为例,一次请求会在 tcp_sendmsg、tcp_recvmsg 上产生多次分片读写调用;如果挂在 sys_enter_read 上看,可以看到 8 次 read 也只拿到一个头部块,应用层语义已经丢失。我的选择是 tracepoint:syscalls:sys_enter_sendto 配合 kprobe:tcp_sendmsg,前者负责确认用户态传入的 buffer 地址与长度,后者在 TCP 层重组真正的报文。接收侧通常挂在 kretprobe:tcp_recvmsg 的返回点,读 retval 拿到本次实际读取字节数,再把 skb 关联回去。

挂载命令用 bpftool 查看可用钩子:

bpftool btf dump file /sys/kernel/btf/vmlinux format raw | grep 'tcp_sendmsg'

bpftool prog load http2_probe.o /sys/fs/bpf/http2_probe type kprobe

需要打开 bpf_probe_read_user 权限时,可能是内核 5.10.0-28-amd64 报 “Operation not permitted”,在 /etc/sysctl.conf 加上 kernel.unprivileged_bpf_disabled=0 后重载 sysctl。libbpf 版本用 1.3.0 时,BTF 校验耗时 42 ms,对 P99 无可见影响。

验证方法:在同一长连接上灌 1000 个请求,对比 bpftool prog show 中的 run_cnt 与业务日志条数,两者应相等。

二、报文还原与关联

[wanglaowu]报文还原的关键在把 TCP 字节流重新切回 HTTP/2 帧,再按 stream id 把 HEADERS 与 DATA 缝回同一条请求。我在 tcp_recvmsg 的 kretprobe 里只取返回长度和前 48 字节头部做流归属判定,完整载荷交给 ringbuf 里的用户态状态机,这样内核侧不用拼大 buffer。用户态用 libbpf 1.3.0 的 ring_bufferpoll,超时设 100 ms,收到片段后按四元组加方向进哈希桶,每桶维护一个 64 KB 环形缓冲和已消费偏移,遇到帧头 magic 0x000000 再解析长度字段,长度不足就留在桶里等下一片。关联靠 stream id 高 31 位加连接序号生成全局 key,HEADERS 帧里的 :path 和 :method 用 HPACK 静态表先查,动态表命中失败就落到 <待核实:hpack 动态表索引与增量解码> 的慢路径,慢路径占比压到 3% 以下。实测在一台 8 核机器上灌 2000 条并发长连接,ringbuf 丢包率 0.02%,单条请求从首片到 :path 还原完成的中位延迟 0.8 ms。验证方法:把还原出的 (stream_id, :path, :method) 三元组按时间排序写文件,与 nginx access.log 逐行比对,差异条数应为 0;再用 bpftool prog show 确认 ringbuf 的 lost 计数为 0 才看延迟数字。

三、线上开销控制

[wanglaowu]开销控制第一刀砍在挂载密度上,tcp_recvmsg 的 kretprobe 不是每个连接都挂,而是用 BPF_CORE_READ 先看 sk->sk_protocol 与本地端口是否命中观测名单,只有名单内连接才进入后续逻辑,名单走 BPF_MAP_TYPE_HASH、max_entries 4096,未命中直接返回,单次调用开销 60 ns 量级。第二刀是 ringbuf 预留,给每个 CPU 建独立 ringbuf,单 CPU 2 MB,总预算按核数乘,8 核就是 16 MB,用 bpf_ringbuf_reserve 时加 BPF_RB_NO_WAKEUP,攒够 32 个片段或满 4 ms 再 bpf_ringbuf_submit 唤醒用户态,把唤醒次数从每片一次压到每 32 片一次。第三刀是采样,非名单连接按 1/64 概率只采首包,名单连接全采,靠 bpf_get_prandom_u32 取模判定。压测时先用

sudo bpftool prog show id --json | jq '.run_cnt, .run_time_ns'

拿到累计运行时间,除以 run_cnt 得单次均值,再把名单外流量打满 10 Gbps,观察 system 态 CPU;实测 8 核机上单次 kretprobe 均值 210 ns,10 Gbps 打流时整机 system 占比从 3.1% 升到 4.4%,未出现 verifier 拒绝,也没有 ringbuf lost。若 run_time_ns 突然跳高一个数量级,多半是 map 查找走了 4096 桶以上的长链,用 bpftool map show 查 max_entries 与实际元素数,链长超 8 就把桶数翻倍重建。验证方法:同一打流脚本跑前后各 60 秒,对比 /proc/stat 的 idl 与 sys 差值,sys 增量控制在 15% 以内才算过。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。