自建网关还是用现成的:一份诚实的成本对比

举报
Rolle 发表于 2026/11/15 17:34:35 2026/11/15
【摘要】 「自建还是买」这个问题被讨论了无数次,但大多数讨论停在功能清单对比。真正决定答案的,是协议适配、故障切换、监控这三块的工作量估算。

「自建还是买」这个问题被讨论了无数次,但大多数讨论停在功能清单对比。真正决定答案的,是协议适配、故障切换、监控这三块的工作量估算。

自建最被低估的工作量

不是写反向代理,而是让它在异常情况下表现正确:上游 401/429/503 怎么处理、流式中途断开怎么办、取消怎么传播、工具调用跨协议怎么翻译、并发满了怎么办。

不是写一个反向代理,而是让它在异常情况下表现正确。

五个问题问出成熟度

上游挂了会怎样、单个 Key 能不能拖垮所有人、能不能看到每个 Key 的用量、协议转换丢了哪些字段、出问题后怎么定位。功能清单都差不多,但这五个问题的答案差别很大。

这五个问题基本能把一个网关的真实成熟度问出来。

什么情况下自建是对的

数据合规要求极高、内部模型不能出网、或者你有非常特殊的定制路由逻辑。另外如果你团队里没有人把精力放在基础设施上,自建通常不是好选择。

判断标准很简单——如果你的团队没有一个人把精力放在「基础设施」上,自建通常不是好选择。

如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。

混合架构是务实的折中

对外的公开业务走托管网关,对内敏感业务走自建,甚至两边的账号池是同一批上游账号,只是调度策略不同。

一个务实的折中是把内外网流量分开:对外的公开业务走托管网关,对内敏感的业务走自建。

实操:用 Node 写一个最小的 SSE 消费端,把流式结果转成纯文本输出。

评估之前,先用一条真实请求感受一下对方的延迟和错误表现。

const res = await fetch("https://aiminis.info/v1/chat/completions", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.GATEWAY_API_KEY}`,
    "Content-Type": "application/json",
  },
  signal: AbortSignal.timeout(120_000),   // 流式的超时要比普通请求宽
  body: JSON.stringify({
    model: "gpt-6-sol",
    stream: true,
    messages: [{ role: "user", content: "解释一下事件驱动架构" }],
  }),
});

const reader = res.body.getReader();
const decoder = new TextDecoder();
let buffer = "";

while (true) {
  const { value, done } = await reader.read();
  if (done) break;
  buffer += decoder.decode(value, { stream: true });

  // SSE 以空行分帧,必须自己攒够一帧再解析
  const frames = buffer.split("

");
  buffer = frames.pop();
  for (const frame of frames) {
    for (const line of frame.split("
")) {
      if (!line.startsWith("data:")) continue;
      const payload = line.slice(5).trim();
      if (payload === "[DONE]") return;
      const chunk = JSON.parse(payload);
      if (chunk.error) throw new Error(chunk.error.message ?? "上游错误");
      process.stdout.write(chunk.choices?.[0]?.delta?.content ?? "");
    }
  }
}

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

把可观测性做在前面,后面所有的优化才有依据。

文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。