随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机
【摘要】 随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机在做 AI 应用或大模型接口聚合中转时,流式输出(Streaming)几乎是标配。比起干等十几秒才一次性吐出整段回复,看着文字像打字机一样逐字蹦出来,不仅能把首字延迟(TTFT)压到毫秒级,用户的心理等待焦虑也会大幅降低。很多开发者一提到前端流式渲染,第一反应就是装 axios 配 onDownloadProgress...
随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机
在做 AI 应用或大模型接口聚合中转时,流式输出(Streaming)几乎是标配。比起干等十几秒才一次性吐出整段回复,看着文字像打字机一样逐字蹦出来,不仅能把首字延迟(TTFT)压到毫秒级,用户的心理等待焦虑也会大幅降低。
很多开发者一提到前端流式渲染,第一反应就是装
axios 配 onDownloadProgress,或者引入 @microsoft/fetch-event-source。其实,借助现代浏览器原生的 fetch + ReadableStream + TextDecoder,不到 50 行原生 JavaScript 就能实现一个健壮、支持 POST 请求和自定义请求头的 SSE(Server-Sent Events)解析器。这篇文章就来拆解一下,如何从零手搓一个不依赖任何第三方库的大模型流式响应处理钩子。
一、 为什么不用浏览器原生的 EventSource?
浏览器虽然内置了
new EventSource(url) API,但它有三个致命局限,导致在对接 LLM(如 OpenAI 兼容格式)时几乎不可用:-
只支持
GET请求:大模型对话通常需要通过POST发送庞大的messages上下文数组。 -
无法自定义请求头:没法传递
Authorization: Bearer sk-xxx鉴权字段。 -
断线自动重连不可控:一旦网络抖动,它会自动重新发起请求,导致重复扣费或上下文错乱。
因此,
fetch 配合底层二进制流读取才是标准解法。二、 核心实现:手写增量行缓冲解析器
网络传输是按数据块(Chunk)到达的,这意味着一个完整的
data: {"content": "你好"}\n\n 报文,极有可能被 TCP 拆成两半先后到达;也可能多个 data: 行粘在同一个 Chunk 里。处理这个问题的核心在于维护一个字符串缓冲区(Buffer),每次只消费完整出现换行符
\n 的行,把没收全的半截尾巴留给下一个 Chunk 拼接。JavaScript
/**
* 发起流式对话请求并逐块回调解析出的文本
* @param {string} url - 接口地址
* @param {object} payload - 请求体 (包含 messages, model 等)
* @param {string} apiKey - 鉴权密钥
* @param {(deltaText: string) => void} onDelta - 收到新文本片段时的回调
* @param {AbortSignal} [signal] - 用于手动中断生成的信号
*/
async function streamChatCompletion({ url, payload, apiKey, onDelta, signal }) {
const response = await fetch(url, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Authorization': `Bearer ${apiKey}`,
},
body: JSON.stringify({ ...payload, stream: true }),
signal,
});
if (!response.ok) {
const errText = await response.text();
throw new Error(`HTTP ${response.status}: ${errText}`);
}
const reader = response.body.getReader();
const decoder = new TextDecoder('utf-8');
let buffer = ''; // 存放未遇到换行符的半截数据
while (true) {
const { done, value } = await reader.read();
if (done) break;
// { stream: true } 极其关键:防止多字节 UTF-8 字符(如中文或 Emoji)在边界被截断成乱码
buffer += decoder.decode(value, { stream: true });
// 按换行符切分所有已接收到的完整行
const lines = buffer.split('\n');
// 最后一个元素可能是尚未接收完的残缺行,重新放回 buffer 等待下次拼接
buffer = lines.pop() ?? '';
for (const rawLine of lines) {
const line = rawLine.trim();
if (!line || !line.startsWith('data:')) continue;
const dataStr = line.slice(5).trim();
if (dataStr === '[DONE]') return;
try {
const parsed = JSON.parse(dataStr);
const delta = parsed.choices?.[0]?.delta?.content;
if (delta) {
onDelta(delta);
}
} catch (e) {
console.warn('跳过异常 SSE 帧:', dataStr);
}
}
}
}
三、 工程落地时的三个关键细节
在实际把这段代码集成进前端组件或浏览器插件时,有三个容易忽略但极其重要的细节:
-
必须开启
decoder.decode(value, { stream: true })一个中文字符在 UTF-8 中占 3 个字节,Emoji 占 4 个字节。如果一个网络包刚好在某个汉字的第 2 个字节处切断,不加{ stream: true }会导致该汉字直接解码成 ``(Replacement Character)。开启流模式后,TextDecoder会自动把残缺字节暂存到内部状态机里,等下一个字节到达后再合并输出。 -
随时可中断的
AbortController用户看到模型输出偏题时,通常会点击“停止生成”。只需在外部创建一个const controller = new AbortController(),把controller.signal传给fetch,点击按钮时调用controller.abort(),不仅前端会立刻停止渲染,底层 TCP 连接也会随之断开,后端推理服务也能及时感知并释放显存算力。 -
渲染层防抖与
requestAnimationFrame合帧 当模型推理速度极快(例如每秒吐出 150 个 Token)时,如果每收到一个字母就触发一次 React/Vue 的状态更新,页面可能会因为高频重排而掉帧。进阶做法是将收到的delta先推入一个内存队列,通过requestAnimationFrame每 16ms 批量刷入一次 UI 状态,这样既能保持丝滑的打字机观感,又能把 CPU 占用压到最低。
四、 写在最后
剥开各种厚重的 SDK 包装,现代 Web 标准的底层能力其实已经足够强大。用几十行透明、零依赖的原生代码掌控每一个字节的流转,不仅包体积近乎为零,在排查网关断流、非标响应格式兼容等疑难杂症时,也能做到真正的心中有数。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)