自建网关还是用现成的:一份诚实的成本对比
「自建还是买」这个问题被讨论了无数次,但大多数讨论停在功能清单对比。真正决定答案的,是协议适配、故障切换、监控这三块的工作量估算。
自建最被低估的工作量
不是写反向代理,而是让它在异常情况下表现正确:上游 401/429/503 怎么处理、流式中途断开怎么办、取消怎么传播、工具调用跨协议怎么翻译、并发满了怎么办。
不是写一个反向代理,而是让它在异常情况下表现正确。
五个问题问出成熟度
上游挂了会怎样、单个 Key 能不能拖垮所有人、能不能看到每个 Key 的用量、协议转换丢了哪些字段、出问题后怎么定位。功能清单都差不多,但这五个问题的答案差别很大。
这五个问题基本能把一个网关的真实成熟度问出来。
什么情况下自建是对的
数据合规要求极高、内部模型不能出网、或者你有非常特殊的定制路由逻辑。另外如果你团队里没有人把精力放在基础设施上,自建通常不是好选择。
判断标准很简单——如果你的团队没有一个人把精力放在「基础设施」上,自建通常不是好选择。
如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。
混合架构是务实的折中
对外的公开业务走托管网关,对内敏感业务走自建,甚至两边的账号池是同一批上游账号,只是调度策略不同。
一个务实的折中是把内外网流量分开:对外的公开业务走托管网关,对内敏感的业务走自建。
实操:用 Node 写一个最小的 SSE 消费端,把流式结果转成纯文本输出。
评估之前,先用一条真实请求感受一下对方的延迟和错误表现。
const res = await fetch("https://aiminis.info/v1/chat/completions", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.GATEWAY_API_KEY}`,
"Content-Type": "application/json",
},
signal: AbortSignal.timeout(120_000), // 流式的超时要比普通请求宽
body: JSON.stringify({
model: "gpt-6-sol",
stream: true,
messages: [{ role: "user", content: "解释一下事件驱动架构" }],
}),
});
const reader = res.body.getReader();
const decoder = new TextDecoder();
let buffer = "";
while (true) {
const { value, done } = await reader.read();
if (done) break;
buffer += decoder.decode(value, { stream: true });
// SSE 以空行分帧,必须自己攒够一帧再解析
const frames = buffer.split("
");
buffer = frames.pop();
for (const frame of frames) {
for (const line of frame.split("
")) {
if (!line.startsWith("data:")) continue;
const payload = line.slice(5).trim();
if (payload === "[DONE]") return;
const chunk = JSON.parse(payload);
if (chunk.error) throw new Error(chunk.error.message ?? "上游错误");
process.stdout.write(chunk.choices?.[0]?.delta?.content ?? "");
}
}
}
几个容易踩的坑
- 只实现了 happy path,异常分支一条没测。
- 把上游凭据明文存库,或者在后台详情里返回完整 Key。
- 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
- 以为「反向代理写完」就是网关做完了。
小结
把可观测性做在前面,后面所有的优化才有依据。
文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。
- 点赞
- 收藏
- 关注作者
评论(0)