随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机

举报
yd_233548797 发表于 2026/11/18 21:01:49 2026/11/18
【摘要】 随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机在做 AI 应用或大模型接口聚合中转时,流式输出(Streaming)几乎是标配。比起干等十几秒才一次性吐出整段回复,看着文字像打字机一样逐字蹦出来,不仅能把首字延迟(TTFT)压到毫秒级,用户的心理等待焦虑也会大幅降低。很多开发者一提到前端流式渲染,第一反应就是装 axios 配 onDownloadProgress...

随手记:用浏览器原生 SSE 协议,手搓一个免第三方库的 AI 流式打字机

在做 AI 应用或大模型接口聚合中转时,流式输出(Streaming)几乎是标配。比起干等十几秒才一次性吐出整段回复,看着文字像打字机一样逐字蹦出来,不仅能把首字延迟(TTFT)压到毫秒级,用户的心理等待焦虑也会大幅降低。

很多开发者一提到前端流式渲染,第一反应就是装 axios 配 onDownloadProgress,或者引入 @microsoft/fetch-event-source。其实,借助现代浏览器原生的 fetch + ReadableStream + TextDecoder,不到 50 行原生 JavaScript 就能实现一个健壮、支持 POST 请求和自定义请求头的 SSE(Server-Sent Events)解析器。

这篇文章就来拆解一下,如何从零手搓一个不依赖任何第三方库的大模型流式响应处理钩子。

一、 为什么不用浏览器原生的 EventSource?

浏览器虽然内置了 new EventSource(url) API,但它有三个致命局限,导致在对接 LLM(如 OpenAI 兼容格式)时几乎不可用:

  1. 只支持 GET 请求:大模型对话通常需要通过 POST 发送庞大的 messages 上下文数组。

  2. 无法自定义请求头:没法传递 Authorization: Bearer sk-xxx 鉴权字段。

  3. 断线自动重连不可控:一旦网络抖动,它会自动重新发起请求,导致重复扣费或上下文错乱。

因此,fetch 配合底层二进制流读取才是标准解法。

二、 核心实现:手写增量行缓冲解析器

网络传输是按数据块(Chunk)到达的,这意味着一个完整的 data: {"content": "你好"}\n\n 报文,极有可能被 TCP 拆成两半先后到达;也可能多个 data: 行粘在同一个 Chunk 里。

处理这个问题的核心在于维护一个字符串缓冲区(Buffer),每次只消费完整出现换行符 \n 的行,把没收全的半截尾巴留给下一个 Chunk 拼接。

JavaScript
/**
 * 发起流式对话请求并逐块回调解析出的文本
 * @param {string} url - 接口地址
 * @param {object} payload - 请求体 (包含 messages, model 等)
 * @param {string} apiKey - 鉴权密钥
 * @param {(deltaText: string) => void} onDelta - 收到新文本片段时的回调
 * @param {AbortSignal} [signal] - 用于手动中断生成的信号
 */
async function streamChatCompletion({ url, payload, apiKey, onDelta, signal }) {
  const response = await fetch(url, {
    method: 'POST',
    headers: {
      'Content-Type': 'application/json',
      'Authorization': `Bearer ${apiKey}`,
    },
    body: JSON.stringify({ ...payload, stream: true }),
    signal,
  });

  if (!response.ok) {
    const errText = await response.text();
    throw new Error(`HTTP ${response.status}: ${errText}`);
  }

  const reader = response.body.getReader();
  const decoder = new TextDecoder('utf-8');
  let buffer = ''; // 存放未遇到换行符的半截数据

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    // { stream: true } 极其关键:防止多字节 UTF-8 字符(如中文或 Emoji)在边界被截断成乱码
    buffer += decoder.decode(value, { stream: true });

    // 按换行符切分所有已接收到的完整行
    const lines = buffer.split('\n');
    // 最后一个元素可能是尚未接收完的残缺行,重新放回 buffer 等待下次拼接
    buffer = lines.pop() ?? '';

    for (const rawLine of lines) {
      const line = rawLine.trim();
      if (!line || !line.startsWith('data:')) continue;

      const dataStr = line.slice(5).trim();
      if (dataStr === '[DONE]') return;

      try {
        const parsed = JSON.parse(dataStr);
        const delta = parsed.choices?.[0]?.delta?.content;
        if (delta) {
          onDelta(delta);
        }
      } catch (e) {
        console.warn('跳过异常 SSE 帧:', dataStr);
      }
    }
  }
}

三、 工程落地时的三个关键细节

在实际把这段代码集成进前端组件或浏览器插件时,有三个容易忽略但极其重要的细节:

  1. 必须开启 decoder.decode(value, { stream: true }) 一个中文字符在 UTF-8 中占 3 个字节,Emoji 占 4 个字节。如果一个网络包刚好在某个汉字的第 2 个字节处切断,不加 { stream: true } 会导致该汉字直接解码成 ``(Replacement Character)。开启流模式后,TextDecoder 会自动把残缺字节暂存到内部状态机里,等下一个字节到达后再合并输出。

  2. 随时可中断的 AbortController 用户看到模型输出偏题时,通常会点击“停止生成”。只需在外部创建一个 const controller = new AbortController(),把 controller.signal 传给 fetch,点击按钮时调用 controller.abort(),不仅前端会立刻停止渲染,底层 TCP 连接也会随之断开,后端推理服务也能及时感知并释放显存算力。

  3. 渲染层防抖与 requestAnimationFrame 合帧 当模型推理速度极快(例如每秒吐出 150 个 Token)时,如果每收到一个字母就触发一次 React/Vue 的状态更新,页面可能会因为高频重排而掉帧。进阶做法是将收到的 delta 先推入一个内存队列,通过 requestAnimationFrame 每 16ms 批量刷入一次 UI 状态,这样既能保持丝滑的打字机观感,又能把 CPU 占用压到最低。

四、 写在最后

剥开各种厚重的 SDK 包装,现代 Web 标准的底层能力其实已经足够强大。用几十行透明、零依赖的原生代码掌控每一个字节的流转,不仅包体积近乎为零,在排查网关断流、非标响应格式兼容等疑难杂症时,也能做到真正的心中有数。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。