从零搭建一个多模型 AI 网关:完整实践总结

举报
Rolle 发表于 2026/11/15 18:29:32 2026/11/15
【摘要】 这是一篇收尾的总结。把前面聊过的所有东西——协议适配、调度、额度、可观测、安全——串成一条完整的落地路径。

这是一篇收尾的总结。把前面聊过的所有东西——协议适配、调度、额度、可观测、安全——串成一条完整的落地路径。

协议层:三条路径,两套 Base URL

OpenAI 侧 https://aiminis.info/v1,Anthropic 侧 https://aiminis.info。跨协议转换要明确哪些参数生效、哪些被拒绝。

OpenAI 官方 SDK 的 base_url 默认是 https://api.openai.com/v1,因为 SDK 自己还会拼 /chat/completions。

所以你的 base_url 应该是 https://aiminis.info/v1,而不是 https://aiminis.info/v1/chat/completions——后者会让 SDK 拼出 /chat/completions/chat/completions 这种荒唐的 URL。

调度层:授权、会话、优先级、负载、冷却

五级顺序各有明确语义,失败切换有严格的可重试白名单,最多尝试三个渠道。

网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。

很多调度实现把「优先级数值越大越优先」写成了升序,结果高端渠道永远排在后面。

产品层:额度、并发、套餐、订单快照

三者独立可配,账目在服务端确定,支付与发放原子完成且幂等。

很多套餐只标了「每日额度」,但对 AI 业务来说并发数往往比额度更早成为瓶颈。

评估套餐的时候,额度看总消耗、并发看峰值,两者要分开算。

观测层:公开健康看板 + 内部指标

对外回答「现在能不能用」,对内回答「哪里出问题了、要不要扩容」。探测不消耗用户额度。

看板的价值不在于好看,而在于能直接驱动动作:哪个模型该降级、哪条线路该扩容、用户的报错能不能归因。

如果看完看板还得去翻日志,那这块就没做对。

实操:把健康看板的数据接进你自己的监控。

所有能力的落点,最终都收敛到一个公开可查的状态接口上。

curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
    rate = it.get('success_rate')
    rate = 'n/a' if rate is None else f'{rate:.1f}%'
    print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms  成功率 {rate}\")
"

# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。

如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。