OpenTelemetry Collector tail_sampling 慢请求与错误链路采样实战
OpenTelemetry Collector 的 tail_sampling 适合在链路完整后再决定是否保留 trace。常见需求是:慢请求和失败链路不能丢,正常请求只保留一部分。本文用延迟策略和错误状态策略保留前两类,再用概率策略对剩余 trace 做 10% 兜底采样。该处理器位于 contrib 发行版,示例使用 contrib 镜像。
配置
在 Collector 的 traces pipeline 中加入 tail_sampling。下面的最小配置监听 OTLP/HTTP,采样后交给 debug exporter 输出,便于本地验证。
receivers:
otlp:
protocols:
http:
endpoint: 0.0.0.0:4318
processors:
tail_sampling:
decision_wait: 2s
num_traces: 50000
expected_new_traces_per_sec: 1000
policies:
- name: slow-traces
type: latency
latency:
threshold_ms: 800
- name: error-traces
type: status_code
status_code:
status_codes: [ERROR]
- name: baseline-10pct
type: probabilistic
probabilistic:
sampling_percentage: 10
exporters:
debug:
verbosity: detailed
service:
pipelines:
traces:
receivers: [otlp]
processors: [tail_sampling]
exporters: [debug]
慢请求策略用 latency.threshold_ms: 800,即 trace 时长超过 800ms 命中;失败链路用 status_code.status_codes: [ERROR],即 trace 中包含 ERROR 状态 span 时命中;probabilistic 作为兜底。策略顺序建议把精确条件放前面、概率策略放最后,便于阅读和排查。
发送模拟 trace
保存为 send_traces.py。脚本用 Python 标准库发送 OTLP/HTTP JSON:一条 1s 慢请求、一条 ERROR 链路,以及 100 条正常短请求。
import json, time, uuid, urllib.request
URL = 'http://127.0.0.1:4318/v1/traces'
def send(name, duration_ms, status_code):
now = time.time_ns()
span = {
'traceId': uuid.uuid4().hex,
'spanId': uuid.uuid4().hex[:16],
'name': name,
'kind': 2,
'startTimeUnixNano': str(now),
'endTimeUnixNano': str(now + duration_ms * 1_000_000),
'status': {'code': status_code},
}
body = {
'resourceSpans': [{
'resource': {'attributes': [
{'key': 'service.name', 'value': {'stringValue': 'tail-demo'}}
]},
'scopeSpans': [{
'scope': {'name': 'manual-sim'},
'spans': [span],
}],
}]
}
req = urllib.request.Request(
URL,
data=json.dumps(body).encode(),
headers={'Content-Type': 'application/json'},
)
with urllib.request.urlopen(req) as resp:
print(name, resp.status)
send('slow-request', 1000, 0)
send('error-request', 20, 2)
for i in range(100):
send('normal-%03d' % i, 20, 0)
time.sleep(3)
运行方式:
docker run --rm -p 4318:4318 -v /path/to/collector.yaml:/etc/otelcol-contrib/config.yaml otel/opentelemetry-collector-contrib:0.100.0 --config=/etc/otelcol-contrib/config.yaml
python3 send_traces.py
镜像标签按你环境验证过的版本替换。发送完成后等待 decision_wait 到期,再查看 Collector 日志。
验证结果
在 debug 输出中按 span 名过滤:slow-request 和 error-request 应出现;normal-* 只应出现约 10 条。因为概率采样是随机的,单次运行可能多于或少于 10 条,不要用单条正常 trace 判断策略是否生效。若慢请求或错误链路未出现,先检查时间戳是否为纳秒字符串、错误 span 的 status.code 是否为 2、以及 decision_wait 是否足够。
边界与限制
tail_sampling需要等待 trace 结束,会引入决策延迟并占用内存;decision_wait应覆盖最长 trace,num_traces和expected_new_traces_per_sec要按流量估算。- 同一 trace 的所有 span 必须到达同一 Collector 实例。横向扩容时需按 traceId 做负载均衡,否则 trace 会被拆开。
- 延迟策略按 trace 时长判断,时钟偏差会影响结果;错误策略依赖 span 状态,业务需正确设置 ERROR。
- 概率策略只控制采样比例,不保证每次验证都得到固定条数。
- 以上配置用于本地验证;生产环境应结合后端存储、采样目标和资源上限调整阈值与缓存参数。
- 点赞
- 收藏
- 关注作者
评论(0)