网关接入的十条反直觉经验

举报
Rolle 发表于 2026/11/15 18:28:36 2026/11/15
【摘要】 有些事情和我们直觉相反,但在实际系统里反复被验证。列出来给第一次做网关的人当参考。

有些事情和我们直觉相反,但在实际系统里反复被验证。列出来给第一次做网关的人当参考。

越简单的实现越可靠

第一个版本只做一条协议路径、一个上游、没有调度。这个版本跑通之前不要加第二个上游。

所以排障的第一步永远是把 GET /v1/models 的返回拿出来对着看。

重试越少越好

默认关掉重试,需要时再单独为某些场景打开。默认打开几乎总是错的。

切完之后你通常会发现,成本大头不是最贵的模型,而是某个循环里没退出的重试。

一次 429 或 503 触发重试,单次看起来无感,但乘上 QPS 之后就是实打实的账单。

日志越少越好

只记排障真正需要的元信息。多记的那部分不会帮你排障,只会增加泄露风险和存储成本。

当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。

如果看完看板还得去翻日志,那这块就没做对。

权限检查要放在最内层

不要在每个 handler 里手写权限判断。放在用例层,一处实现,所有入口自动生效。

恢复链接里的凭证要放在 URL fragment 部分,不能进服务端查询参数——否则它会出现在日志和 Referer 里。

而且权限检查必须落在后端:隐藏菜单不能替代授权,列表、详情、聚合、更新、删除每一条路径都要单独检查作用域。

实操:带指数退避的重试封装,只对真正可重试的错误重试。

默认不开重试,需要时再为特定场景单独打开。

import random, time
from openai import OpenAI, APIStatusError

client = OpenAI(api_key=API_KEY, base_url="https://aiminis.info/v1")
RETRYABLE = {429, 500, 502, 503, 504}

def call_with_retry(fn, attempts=3):
    for i in range(attempts):
        try:
            return fn()
        except APIStatusError as e:
            if e.status_code not in RETRYABLE or i == attempts - 1:
                raise
            time.sleep((2 ** i) + random.random())
    # 4xx(参数错、额度不足、模型不存在)不该重试,换渠道也一样失败。

几个容易踩的坑

  • 跳过 GET /v1/models,直接猜模型名。
  • 把 401 和 403 当成同一类错误去查。
  • 没分清 429 是上游限的还是自己限的。
  • 出问题时没有最小复现脚本,只能在业务代码里盲改。

小结

把可观测性做在前面,后面所有的优化才有依据。

上面提到的能力基本都来自 https://aiminis.info/ 这个自建的 API 网关,支持 OpenAI 与 Anthropic 双协议接入,还有公开的模型健康看板 https://aiminis.info/model-health 可以先看看状态。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。