网关的高可用部署形态
网关是单点还是多实例,取决于它的部署形态。但不管哪种形态,有两个东西必须一致:会话绑定和用量结算。
多实例下会话亲和的挑战
如果亲和状态只存在单机内存里,多实例部署会导致同一会话在不同实例上被路由到不同渠道。共享状态存储或一致性哈希是常见解法。
如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。
用量结算必须只有一次
多实例下同一个请求可能被重试或转发,结算要靠幂等约束保证只落一次。这比单实例更依赖数据库的唯一约束。
网关的用量查询页应该一次性回答这三个问题,而不是让用户提工单。
实现上,调用明细按 (request_id, usage_id) 做唯一约束,避免结算重试导致重复落库。
response ID 绑定同理
会话/响应 ID 到渠道的绑定也要跨实例可见,否则续接会随机失败。
客户端拿到 resp_xxx 之后,下一轮只要带上 previous_response_id,服务端就能把上下文接上。
这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。
优雅退出不能丢请求
实例下线时要先停止接收新请求、等在途请求结束再退出。直接 kill 会造成一批用户看到「连接重置」。
很多团队会跳过这一步,直接在 SDK 里换模型名试,那是在盲试。
实操:容器化部署网关的骨架。
分组配置跨实例共享,才能保证行为一致。
services:
gateway:
image: your-registry/ai-gateway:latest
restart: unless-stopped
env_file:
- .env # 不进镜像,只在运行时注入
environment:
DATABASE_DSN: ${DATABASE_DSN}
JWT_SIGNING_KEY: ${JWT_SIGNING_KEY} # 至少 32 字节
ENCRYPTION_KEY: ${ENCRYPTION_KEY} # Base64 的 32 字节,部署后不可更换
MODEL_HEALTH_ENABLED: "true"
MODEL_HEALTH_INTERVAL_SECONDS: "300"
ports:
- "127.0.0.1:8081:8081"
healthcheck:
test: ["CMD", "wget", "-qO-", "http://127.0.0.1:8081/healthz"]
interval: 30s
timeout: 5s
retries: 3
# 提醒:ENCRYPTION_KEY 一旦上线就不能再换,
# 换了会导致已加密的上游凭据全部无法解密。
几个容易踩的坑
- 只实现了 happy path,异常分支一条没测。
- 把上游凭据明文存库,或者在后台详情里返回完整 Key。
- 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
- 以为「反向代理写完」就是网关做完了。
小结
网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。
如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。
- 点赞
- 收藏
- 关注作者
评论(0)