自建网关的技术清单:从零开始要写哪些东西
如果你决定自己写一个 API 网关,这份清单能帮你判断工作量到底有多大,以及哪些部分绝对不能省。
协议适配是主体工程
OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 三条路径互相之间的转换,每一条都要处理工具、流式、参数兼容和错误语义。
劣势也很实在:上游账号要自己养、协议适配要自己写、故障切换要自己调、监控要自己搭。
这样既保留了自建的可控性,又不用自己扛全部的协议适配和故障切换。
调度层是第二大的工程
候选筛选、亲和、优先级、负载、冷却、失败切换——这一套的边界条件比看起来多得多,尤其是「什么情况下允许重试」。
自建网关最大的优势是可控:路由规则、计费口径、数据流向全在你手里。
两边的账号池甚至可以是同一批上游账号,只是调度策略不同。
绝对不能省的三块
凭据加密存储、权限检查(每个接口的作用域)、日志脱敏。这三块省掉就是在制造安全事件而不是节省工期。
与其看功能列表,不如问这五个问题:上游挂了会怎样、单个 Key 能不能拖垮所有人、能不能看到每个 Key 的用量、协议转换丢失了哪些字段、出问题后怎么定位。
凭据应该加密存储(而不是明文落库),日志里绝不能出现完整 Key,导出和展示一律掩码。
观测层决定你能不能睡好觉
没有 request_id 串联的日志、没有按模型维度的成功率、没有延迟趋势,出问题时只能靠猜。
如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。
实操:Go 里直接用标准库,示例更贴近网关协议本身。
从一条 curl 开始,但先把请求 id 串起来,这是后面所有工作的基础。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io"
"net/http"
)
func chat(prompt string) (string, error) {
body, _ := json.Marshal(map[string]any{
"model": "gpt-6-sol",
"messages": []map[string]string{
{"role": "user", "content": prompt},
},
})
req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
bytes.NewReader(body))
req.Header.Set("Authorization", "Bearer "+apiKey)
req.Header.Set("Content-Type", "application/json")
resp, err := http.DefaultClient.Do(req)
if err != nil {
return "", err
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusOK {
b, _ := io.ReadAll(resp.Body)
return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
}
var out struct {
Choices []struct {
Message struct{ Content string } `json:"message"`
} `json:"choices"`
}
if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
return "", err
}
return out.Choices[0].Message.Content, nil
}
几个容易踩的坑
- 只实现了 happy path,异常分支一条没测。
- 把上游凭据明文存库,或者在后台详情里返回完整 Key。
- 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
- 以为「反向代理写完」就是网关做完了。
小结
先跑通最小请求,再逐项加功能——这是接入任何网关都适用的节奏。
文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。
- 点赞
- 收藏
- 关注作者
评论(0)