网关的日志应该记什么、不该记什么
网关的日志内容是个取舍:记少了排障困难,记多了出事。这条线应该由明确的原则来划,而不是靠开发者随手决定。
不记敏感数据和原始正文
真实 token、密码、私钥、支付凭据、完整请求正文都不该进日志。这条是硬性的。
常见做法是给订单一个能力凭证(放在 X-Payment-Token 头里),数据库只存摘要。
工具参数尤其敏感
工具调用的原始参数和结果只能按既有的内存处理边界使用,不应该被序列化进日志或安全事件队列。
流式场景下,工具参数是分片到达的,网关需要在内存里把它们拼接成完整 JSON。
这里必须设上限:单个请求的工具参数总量、工具调用个数、以及非流式响应体大小,都要有硬顶。
该记的是元信息
模型、耗时、token 数、状态码、渠道、重试次数、错误码——这些足以支撑排障和成本核算。
尤其要克制的是:只有探测到的目标、且检测是新鲜的,才配叫「正常」。
例如「近一小时请求统计」和「历史明细保留 90 天」这类信息,必须在页面上明确标注。
用 request_id 串起全链路
网关、客户端、上游日志用同一个 request ID 关联,排查时不用靠时间戳猜哪条是哪条。
区分方法看响应来源和是否带 Retry-After。
然后看是不是被降级了——健康看板里 status 是 degraded 时,响应变慢是预期内的,不是 bug。
实操:把调用明细按天和模型聚合出来。
排查问题时先拿到 request_id,能省掉一半的时间。
import collections, json
# 用量查询接口返回最近 100 条调用明细
detail = fetch_usage_detail() # 你的查询函数
by_model = collections.Counter()
by_day = collections.Counter()
by_status = collections.Counter()
for row in detail:
by_model[row["model"]] += row.get("total_tokens", 0)
by_day[row["created_at"][:10]] += row.get("total_tokens", 0)
by_status[row["status"]] += 1
print("按模型:", by_model.most_common())
print("按天 :", sorted(by_day.items()))
print("状态 :", by_status)
# 明细只保留最近 100 条,所以这里看的是「近期趋势」,
# 要看整月账目应该以服务端返回的汇总口径为准。
几个容易踩的坑
- 把完整 Key 长期存进 localStorage,页面里任何脚本都能读到。
- 用浏览器返回地址或前端轮询来确认支付成功。
- 游客订单的恢复凭证放在 URL 查询参数里,被写进访问日志和 Referer。
- 权限只在前端菜单里做了隐藏,后端接口没做作用域检查。
小结
技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。
如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。
- 点赞
- 收藏
- 关注作者
评论(0)