OpenTelemetry 采样策略实战:把每天 1TB 的追踪数据压到 80GB

举报
yd_219600272 发表于 2026/11/16 09:10:46 2026/11/16
【摘要】 一、成本失控不是存储的问题,是采样的问题接入 OpenTelemetry 半年后,我们的可观测集群每天新增 1.1TB 追踪数据,其中 93% 的 span 来自三个高频内部接口的健康检查与定时任务。它们既没有问题,也没有人查,却让存储账单每月涨了 40%。第一反应是缩短保留期,但这样做只是把问题往后推:真正出故障时,需要回溯的时间窗往往超过保留期。正确的做法是在采集侧就把无价值的链路丢掉,...

一、成本失控不是存储的问题,是采样的问题

接入 OpenTelemetry 半年后,我们的可观测集群每天新增 1.1TB 追踪数据,其中 93% 的 span 来自三个高频内部接口的健康检查与定时任务。它们既没有问题,也没有人查,却让存储账单每月涨了 40%。

第一反应是缩短保留期,但这样做只是把问题往后推:真正出故障时,需要回溯的时间窗往往超过保留期。正确的做法是在采集侧就把无价值的链路丢掉,而不是在存储侧做减法。

二、三种采样策略的取舍

头部采样(head-based)在链路起点一次性决定是否采样,实现简单、开销极低,但决策时看不到链路全貌,慢请求和高错误率的链路很容易被随机丢掉,恰恰丢掉了最该看的那些。

尾部采样(tail-based)在 Collector 里缓存整条链路,等 trace 结束后按「耗时超过 P99」「状态码 5xx」「包含特定属性」等规则再做决策,能保证异常链路 100% 保留。代价是需要缓冲与等待,对 Collector 内存和部署拓扑有要求。

自适应采样(adaptive)按每秒目标 span 数动态调整比例,适合流量波动大的服务。我们最终采用的是「头部 10% 随机 + 尾部按规则补采」的组合,既能控制基线量,又能兜住异常。

三、Collector 侧的关键配置

尾部采样的核心是 tail_sampling processor 与 loadbalancing exporter 的配合:同一 trace 的所有 span 必须落到同一个 Collector 实例,否则永远凑不齐一条完整链路。这是最容易踩的坑,配错了表现为「采样规则完全不生效」。

processors:
  tail_sampling:
    decision_wait: 10s
    num_traces: 100000
    policies:
      - name: errors
        type: status_code
        status_code: { status_codes: [ERROR] }
      - name: slow
        type: latency
        latency: { threshold_ms: 800 }
      - name: baseline
        type: probabilistic
        probabilistic: { sampling_percentage: 8 }

exporters:
  loadbalancing:
    routing_key: traceID
    protocol:
      otlp:
        tls: { insecure: true }
        endpoint: otel-collector-headless:4317

四、上下文传播的三个坑

坑一:异步消息断了链路。Kafka 消费者如果不从消息头里 extract traceparent,生产者与消费者会变成两条独立链路,尾部采样也就无从判断。解决办法是在生产侧 inject、消费侧 extract,并把消息头一并透传。

坑二:网关重写了请求头。部分网关会丢弃未知 header,导致 traceparent 在入口处消失。上线前务必用一条 curl 打通全链路,确认每一跳都能看到同一个 traceID。

坑三:SDK 默认采样器覆盖了父级决策。子服务如果配了 AlwaysOn 或独立的 ParentBased 配置,父级「不采样」的决定会被推翻,产生大量孤立 span。统一改成 ParentBased(root=AlwaysOn),把决策权收归入口。

五、效果与复盘

上线四周后,日均追踪数据从 1.1TB 降到 82GB,降幅 92.5%;同期故障定位的平均耗时从 26 分钟降到 11 分钟,因为异常链路不再被随机丢弃。Collector 侧新增了 6 个实例、约 24GB 内存开销,相比省下的存储与查询成本完全可以接受。

如果重新做一次,我会先把「哪些链路值得留」写成明确的 SLO 规则,再调采样比例,而不是一上来就调百分比。采样策略本质上是可观测性的预算分配问题,先想清楚要回答什么问题,数字才有意义。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。