自建网关的技术清单:从零开始要写哪些东西

举报
Rolle 发表于 2026/11/15 18:12:16 2026/11/15
【摘要】 如果你决定自己写一个 API 网关,这份清单能帮你判断工作量到底有多大,以及哪些部分绝对不能省。

如果你决定自己写一个 API 网关,这份清单能帮你判断工作量到底有多大,以及哪些部分绝对不能省。

协议适配是主体工程

OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 三条路径互相之间的转换,每一条都要处理工具、流式、参数兼容和错误语义。

劣势也很实在:上游账号要自己养、协议适配要自己写、故障切换要自己调、监控要自己搭。

这样既保留了自建的可控性,又不用自己扛全部的协议适配和故障切换。

调度层是第二大的工程

候选筛选、亲和、优先级、负载、冷却、失败切换——这一套的边界条件比看起来多得多,尤其是「什么情况下允许重试」。

自建网关最大的优势是可控:路由规则、计费口径、数据流向全在你手里。

两边的账号池甚至可以是同一批上游账号,只是调度策略不同。

绝对不能省的三块

凭据加密存储、权限检查(每个接口的作用域)、日志脱敏。这三块省掉就是在制造安全事件而不是节省工期。

与其看功能列表,不如问这五个问题:上游挂了会怎样、单个 Key 能不能拖垮所有人、能不能看到每个 Key 的用量、协议转换丢失了哪些字段、出问题后怎么定位。

凭据应该加密存储(而不是明文落库),日志里绝不能出现完整 Key,导出和展示一律掩码。

观测层决定你能不能睡好觉

没有 request_id 串联的日志、没有按模型维度的成功率、没有延迟趋势,出问题时只能靠猜。

如果你的数据合规要求非常严格,内部模型不能出网,或者你需要一些非常特殊的定制路由逻辑,自建是合理的。

实操:Go 里直接用标准库,示例更贴近网关协议本身。

从一条 curl 开始,但先把请求 id 串起来,这是后面所有工作的基础。

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io"
	"net/http"
)

func chat(prompt string) (string, error) {
	body, _ := json.Marshal(map[string]any{
		"model": "gpt-6-sol",
		"messages": []map[string]string{
			{"role": "user", "content": prompt},
		},
	})

	req, _ := http.NewRequest("POST", "https://aiminis.info/v1/chat/completions",
		bytes.NewReader(body))
	req.Header.Set("Authorization", "Bearer "+apiKey)
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return "", err
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		b, _ := io.ReadAll(resp.Body)
		return "", fmt.Errorf("upstream %d: %s", resp.StatusCode, b)
	}

	var out struct {
		Choices []struct {
			Message struct{ Content string } `json:"message"`
		} `json:"choices"`
	}
	if err := json.NewDecoder(resp.Body).Decode(&out); err != nil {
		return "", err
	}
	return out.Choices[0].Message.Content, nil
}

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

先跑通最小请求,再逐项加功能——这是接入任何网关都适用的节奏。

文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。