OpenTelemetry 采样策略实战:把每天 1TB 的追踪数据压到 80GB
一、成本失控不是存储的问题,是采样的问题
接入 OpenTelemetry 半年后,我们的可观测集群每天新增 1.1TB 追踪数据,其中 93% 的 span 来自三个高频内部接口的健康检查与定时任务。它们既没有问题,也没有人查,却让存储账单每月涨了 40%。
第一反应是缩短保留期,但这样做只是把问题往后推:真正出故障时,需要回溯的时间窗往往超过保留期。正确的做法是在采集侧就把无价值的链路丢掉,而不是在存储侧做减法。
二、三种采样策略的取舍
头部采样(head-based)在链路起点一次性决定是否采样,实现简单、开销极低,但决策时看不到链路全貌,慢请求和高错误率的链路很容易被随机丢掉,恰恰丢掉了最该看的那些。
尾部采样(tail-based)在 Collector 里缓存整条链路,等 trace 结束后按「耗时超过 P99」「状态码 5xx」「包含特定属性」等规则再做决策,能保证异常链路 100% 保留。代价是需要缓冲与等待,对 Collector 内存和部署拓扑有要求。
自适应采样(adaptive)按每秒目标 span 数动态调整比例,适合流量波动大的服务。我们最终采用的是「头部 10% 随机 + 尾部按规则补采」的组合,既能控制基线量,又能兜住异常。
三、Collector 侧的关键配置
尾部采样的核心是 tail_sampling processor 与 loadbalancing exporter 的配合:同一 trace 的所有 span 必须落到同一个 Collector 实例,否则永远凑不齐一条完整链路。这是最容易踩的坑,配错了表现为「采样规则完全不生效」。
processors:
tail_sampling:
decision_wait: 10s
num_traces: 100000
policies:
- name: errors
type: status_code
status_code: { status_codes: [ERROR] }
- name: slow
type: latency
latency: { threshold_ms: 800 }
- name: baseline
type: probabilistic
probabilistic: { sampling_percentage: 8 }
exporters:
loadbalancing:
routing_key: traceID
protocol:
otlp:
tls: { insecure: true }
endpoint: otel-collector-headless:4317
四、上下文传播的三个坑
坑一:异步消息断了链路。Kafka 消费者如果不从消息头里 extract traceparent,生产者与消费者会变成两条独立链路,尾部采样也就无从判断。解决办法是在生产侧 inject、消费侧 extract,并把消息头一并透传。
坑二:网关重写了请求头。部分网关会丢弃未知 header,导致 traceparent 在入口处消失。上线前务必用一条 curl 打通全链路,确认每一跳都能看到同一个 traceID。
坑三:SDK 默认采样器覆盖了父级决策。子服务如果配了 AlwaysOn 或独立的 ParentBased 配置,父级「不采样」的决定会被推翻,产生大量孤立 span。统一改成 ParentBased(root=AlwaysOn),把决策权收归入口。
五、效果与复盘
上线四周后,日均追踪数据从 1.1TB 降到 82GB,降幅 92.5%;同期故障定位的平均耗时从 26 分钟降到 11 分钟,因为异常链路不再被随机丢弃。Collector 侧新增了 6 个实例、约 24GB 内存开销,相比省下的存储与查询成本完全可以接受。
如果重新做一次,我会先把「哪些链路值得留」写成明确的 SLO 规则,再调采样比例,而不是一上来就调百分比。采样策略本质上是可观测性的预算分配问题,先想清楚要回答什么问题,数字才有意义。
- 点赞
- 收藏
- 关注作者
评论(0)