把网关接进可观测性体系:指标、日志、追踪
网关自己也是一个需要被观测的服务。它的指标应该和其他服务一样进你的监控系统,而不是躺在一个只有人能看的页面上。
该暴露哪些指标
请求总数、按模型/状态码分布、P50/P95/P99 延迟、上游错误率、重试次数、渠道切换次数、活跃渠道数、并发占用。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
看板的定位不同
面向用户的公开看板回答「现在能不能用」,面向运维的指标看板回答「哪里出问题了、要不要扩容」。两者都要有。
看板的价值不在于好看,而在于能直接驱动动作:哪个模型该降级、哪条线路该扩容、用户的报错能不能归因。
一个实用的做法是:把看板链接直接放进你的运维文档和错误提示里。
分布式追踪的边界
网关是流式的终点也是起点,追踪要覆盖到上游调用。流式请求的耗时不能只用「收到响应时间」来算。
对应到网关:401 多半是 Key 本身错误、过期或被撤销;403 多半是分组不允许访问目标模型,或者上游凭据失败。
指标也能回答成本问题
按模型维度的 token 消耗趋势、按渠道维度的错误率,能回答「该扩哪个线路」「哪个模型在烧钱」这类问题。
切完之后你通常会发现,成本大头不是最贵的模型,而是某个循环里没退出的重试。
所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。
实操:把网关状态接进告警规则。
公开看板的字段可以作为你内部指标定义的参照,口径保持一致最好。
groups:
- name: ai-gateway
rules:
- alert: GatewayModelDegraded
expr: gateway_model_up{status!="operational"} == 1
for: 5m
annotations:
summary: "模型 {{ $labels.model }} 状态异常({{ $labels.status }})"
description: "请检查健康看板与上游渠道状态"
- alert: GatewayUpstreamErrorRate
expr: |
sum(rate(gateway_upstream_errors_total[5m])) by (channel)
/
sum(rate(gateway_upstream_requests_total[5m])) by (channel) > 0.05
for: 10m
annotations:
summary: "渠道 {{ $labels.channel }} 错误率超过 5%"
- alert: GatewayLatencyRegression
expr: histogram_quantile(0.95, sum(rate(gateway_duration_bucket[5m])) by (le, model)) > 10
for: 10m
annotations:
summary: "模型 {{ $labels.model }} 的 P95 延迟超过 10 秒"
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。
对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。
- 点赞
- 收藏
- 关注作者
评论(0)