网关的高可用部署形态

举报
Rolle 发表于 2026/11/15 18:16:50 2026/11/15
【摘要】 网关是单点还是多实例,取决于它的部署形态。但不管哪种形态,有两个东西必须一致:会话绑定和用量结算。

网关是单点还是多实例,取决于它的部署形态。但不管哪种形态,有两个东西必须一致:会话绑定和用量结算。

多实例下会话亲和的挑战

如果亲和状态只存在单机内存里,多实例部署会导致同一会话在不同实例上被路由到不同渠道。共享状态存储或一致性哈希是常见解法。

如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。

用量结算必须只有一次

多实例下同一个请求可能被重试或转发,结算要靠幂等约束保证只落一次。这比单实例更依赖数据库的唯一约束。

网关的用量查询页应该一次性回答这三个问题,而不是让用户提工单。

实现上,调用明细按 (request_id, usage_id) 做唯一约束,避免结算重试导致重复落库。

response ID 绑定同理

会话/响应 ID 到渠道的绑定也要跨实例可见,否则续接会随机失败。

客户端拿到 resp_xxx 之后,下一轮只要带上 previous_response_id,服务端就能把上下文接上。

这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。

优雅退出不能丢请求

实例下线时要先停止接收新请求、等在途请求结束再退出。直接 kill 会造成一批用户看到「连接重置」。

很多团队会跳过这一步,直接在 SDK 里换模型名试,那是在盲试。

实操:容器化部署网关的骨架。

分组配置跨实例共享,才能保证行为一致。

services:
  gateway:
    image: your-registry/ai-gateway:latest
    restart: unless-stopped
    env_file:
      - .env            # 不进镜像,只在运行时注入
    environment:
      DATABASE_DSN: ${DATABASE_DSN}
      JWT_SIGNING_KEY: ${JWT_SIGNING_KEY}     # 至少 32 字节
      ENCRYPTION_KEY: ${ENCRYPTION_KEY}       # Base64 的 32 字节,部署后不可更换
      MODEL_HEALTH_ENABLED: "true"
      MODEL_HEALTH_INTERVAL_SECONDS: "300"
    ports:
      - "127.0.0.1:8081:8081"
    healthcheck:
      test: ["CMD", "wget", "-qO-", "http://127.0.0.1:8081/healthz"]
      interval: 30s
      timeout: 5s
      retries: 3

# 提醒:ENCRYPTION_KEY 一旦上线就不能再换,
# 换了会导致已加密的上游凭据全部无法解密。

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。

如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。