OpenTelemetry Collector tail_sampling 慢请求与错误链路采样实战

举报
yd_217513249 发表于 2026/11/19 07:17:18 2026/11/19
【摘要】 介绍如何用 OpenTelemetry Collector 的 tail_sampling 处理器,按延迟和错误状态保留慢请求与失败链路,其余 trace 按 10% 概率采样,并给出可直接运行的配置及发送模拟 trace 验证采样结果的步骤。

OpenTelemetry Collector 的 tail_sampling 适合在链路完整后再决定是否保留 trace。常见需求是:慢请求和失败链路不能丢,正常请求只保留一部分。本文用延迟策略和错误状态策略保留前两类,再用概率策略对剩余 trace 做 10% 兜底采样。该处理器位于 contrib 发行版,示例使用 contrib 镜像。

配置

在 Collector 的 traces pipeline 中加入 tail_sampling。下面的最小配置监听 OTLP/HTTP,采样后交给 debug exporter 输出,便于本地验证。

receivers:
  otlp:
    protocols:
      http:
        endpoint: 0.0.0.0:4318
processors:
  tail_sampling:
    decision_wait: 2s
    num_traces: 50000
    expected_new_traces_per_sec: 1000
    policies:
      - name: slow-traces
        type: latency
        latency:
          threshold_ms: 800
      - name: error-traces
        type: status_code
        status_code:
          status_codes: [ERROR]
      - name: baseline-10pct
        type: probabilistic
        probabilistic:
          sampling_percentage: 10
exporters:
  debug:
    verbosity: detailed
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [tail_sampling]
      exporters: [debug]

慢请求策略用 latency.threshold_ms: 800,即 trace 时长超过 800ms 命中;失败链路用 status_code.status_codes: [ERROR],即 trace 中包含 ERROR 状态 span 时命中;probabilistic 作为兜底。策略顺序建议把精确条件放前面、概率策略放最后,便于阅读和排查。

发送模拟 trace

保存为 send_traces.py。脚本用 Python 标准库发送 OTLP/HTTP JSON:一条 1s 慢请求、一条 ERROR 链路,以及 100 条正常短请求。

import json, time, uuid, urllib.request

URL = 'http://127.0.0.1:4318/v1/traces'

def send(name, duration_ms, status_code):
    now = time.time_ns()
    span = {
        'traceId': uuid.uuid4().hex,
        'spanId': uuid.uuid4().hex[:16],
        'name': name,
        'kind': 2,
        'startTimeUnixNano': str(now),
        'endTimeUnixNano': str(now + duration_ms * 1_000_000),
        'status': {'code': status_code},
    }
    body = {
        'resourceSpans': [{
            'resource': {'attributes': [
                {'key': 'service.name', 'value': {'stringValue': 'tail-demo'}}
            ]},
            'scopeSpans': [{
                'scope': {'name': 'manual-sim'},
                'spans': [span],
            }],
        }]
    }
    req = urllib.request.Request(
        URL,
        data=json.dumps(body).encode(),
        headers={'Content-Type': 'application/json'},
    )
    with urllib.request.urlopen(req) as resp:
        print(name, resp.status)

send('slow-request', 1000, 0)
send('error-request', 20, 2)
for i in range(100):
    send('normal-%03d' % i, 20, 0)
time.sleep(3)

运行方式:

docker run --rm -p 4318:4318 -v /path/to/collector.yaml:/etc/otelcol-contrib/config.yaml otel/opentelemetry-collector-contrib:0.100.0 --config=/etc/otelcol-contrib/config.yaml
python3 send_traces.py

镜像标签按你环境验证过的版本替换。发送完成后等待 decision_wait 到期,再查看 Collector 日志。

验证结果

在 debug 输出中按 span 名过滤:slow-request 和 error-request 应出现;normal-* 只应出现约 10 条。因为概率采样是随机的,单次运行可能多于或少于 10 条,不要用单条正常 trace 判断策略是否生效。若慢请求或错误链路未出现,先检查时间戳是否为纳秒字符串、错误 span 的 status.code 是否为 2、以及 decision_wait 是否足够。

边界与限制

  • tail_sampling 需要等待 trace 结束,会引入决策延迟并占用内存;decision_wait 应覆盖最长 trace,num_traces 和 expected_new_traces_per_sec 要按流量估算。
  • 同一 trace 的所有 span 必须到达同一 Collector 实例。横向扩容时需按 traceId 做负载均衡,否则 trace 会被拆开。
  • 延迟策略按 trace 时长判断,时钟偏差会影响结果;错误策略依赖 span 状态,业务需正确设置 ERROR。
  • 概率策略只控制采样比例,不保证每次验证都得到固定条数。
  • 以上配置用于本地验证;生产环境应结合后端存储、采样目标和资源上限调整阈值与缓存参数。
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。