给前端接入的十条建议
前端同学接 API 网关时,最容易犯的错误是把网关当成普通的 REST 后端来用。列几条能省时间的建议。
Base URL 只配一处
前端工程里应该有且只有一个环境变量指向网关地址,不要散落在各个 API 封装文件里。
OpenAI 官方 SDK 里,base_url 是「前缀」,不是「完整地址」。
哪怕只有一个后端,也建议把 Base URL 抽成环境变量或配置中心的一项。
完整 Key 不要进前端
如果前端需要调用模型,那它必然要持有 Key——这种情况下必须有额度上限、并发上限和有效期保护,而不是「先跑起来」。
一个成熟的做法是给每张卡配一个短查询凭证,用户拿它查用量,而完整的 API Key 只在需要时才出现。
所以完整 Key 应该尽量一次性展示、用完即弃,最多缓存极短时间。
流式在前端要用 fetch + ReadableStream
EventSource 不支持 POST 和自定义头,而 AI 请求几乎都需要这两样。用 fetch 读流是标准做法。
用量统计的时间口径必须写清楚,是 UTC 还是某个业务时区,一周从哪天开始。
实现上,调用明细按 (request_id, usage_id) 做唯一约束,避免结算重试导致重复落库。
处理中途的错误事件
流式响应中途失败时,客户端必须能识别 error 事件并给出「本次回答未完成」的提示,而不是显示半截内容。
对应到网关:401 多半是 Key 本身错误、过期或被撤销;403 多半是分组不允许访问目标模型,或者上游凭据失败。
看客户端收到的最后一个 SSE 事件是什么——如果是明确的 error 事件,说明网关做了正确的错误上报;如果是戛然而止,那就是真的断了。
实操:asyncio 版本的流式客户端,适合高并发场景。
这段代码的前端版本就是 fetch + ReadableStream 的标准写法。
import asyncio, json, aiohttp
async def stream_chat(prompt: str, session: aiohttp.ClientSession):
payload = {
"model": "gpt-6-sol",
"stream": True,
"messages": [{"role": "user", "content": prompt}],
}
async with session.post(
"https://aiminis.info/v1/chat/completions",
json=payload,
headers={"Authorization": f"Bearer {API_KEY}"},
timeout=aiohttp.ClientTimeout(total=300, sock_read=120),
) as resp:
async for raw in resp.content:
line = raw.decode().strip()
if not line.startswith("data:"):
continue
data = line[5:].strip()
if data == "[DONE]":
return
chunk = json.loads(data)
yield chunk["choices"][0]["delta"].get("content", "")
async def main():
async with aiohttp.ClientSession() as s:
async for piece in stream_chat("写一段并发爬虫的说明", s):
print(piece, end="", flush=True)
几个容易踩的坑
- 把 API Key 硬编码在代码里然后提交到仓库。
- 每次失败都重试,包括参数错误、额度不足这类永远不会成功的错误。
- 没有对已经产生上游用量的请求做重放保护,账单翻倍。
- 模型 ID 从旧文档里抄,实际 Key 没有该模型权限。
小结
把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。
上面提到的能力基本都来自 https://aiminis.info/ 这个自建的 API 网关,支持 OpenAI 与 Anthropic 双协议接入,还有公开的模型健康看板 https://aiminis.info/model-health 可以先看看状态。
- 点赞
- 收藏
- 关注作者
评论(0)