云原生网关在灰度发布中的流量染色实践
问题
灰度发布按比例切流后,线上出现少量 500。监控只看整体错误率,无法判断是新版本还是老版本产生的;回滚时也说不清哪些请求进了新版本。
原因
请求进入网关后没有携带可识别的版本标识,访问日志、业务日志、链路追踪三处对不上。权重分流只能控制比例,回答不了「这个请求到底走了哪个版本」。
解决
在入口做流量染色:命中灰度的请求统一加响应头 <code>X-Release: canary</code>,并透传到后端。
以 NGINX Ingress 为例:
annotations:
nginx.ingress.kubernetes.io/canary: "true"
nginx.ingress.kubernetes.io/canary-by-header: "x-user-tag"
nginx.ingress.kubernetes.io/canary-by-header-value: "canary"
nginx.ingress.kubernetes.io/canary-weight: "10"
<code>canary-by-header</code> 优先级高于权重:带 <code>x-user-tag: canary</code> 的请求必进灰度,其余按 10% 权重分流。后端统一写回 <code>X-Release</code>,网关日志追加 <code>$upstream_http_x_release</code>,这样访问日志、业务日志、Trace 都带同一标识。
注意:染色头必须由网关覆盖写入,不能信任客户端传入的同名头,否则会被伪造绕过灰度。
验证
用同一接口做两组请求,分别看响应头和状态码:
for i in $(seq 1 20); do
curl -s -D - -o /dev/null -H 'x-user-tag: canary' https://example.com/api/health | grep -i x-release
done | sort | uniq -c
for i in $(seq 1 200); do
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/api/health
done | sort | uniq -c
第一组应全部返回 <code>X-Release: canary</code>;第二组约 10% 命中 canary,其余为 stable。再按 <code>X-Release</code> 拆分 5xx,确认新版本错误率不高于基线,达标后把权重从 10 调到 50、100。
边界
· 只对入口流量生效,服务间 RPC 调用要在上下文继续透传,否则链路后半段仍无法区分版本。
· 权重切换后至少观察一个完整业务周期,避免低峰期样本不足导致误判。
· 染色标识要纳入日志规范,否则后续排查仍会断在网关之后。
- 点赞
- 收藏
- 关注作者
评论(0)