LLM 网关限流实测:令牌桶与并发信号量在 P99 延迟和吞吐上的差异

举报
yd_243452805 发表于 2026/11/02 09:45:50 2026/11/02
【摘要】 LLM 单请求耗时长,只按 QPS 限流会打爆连接池。本文给出令牌桶 + 并发信号量的 asyncio 实现,并用 10 分钟压测数据对比三种方案:组合方案吞吐几乎不掉,P99 从 21.4 秒降到 9.8 秒,峰值在途请求从 214 降到 32。

引子

去年双十一前,我们的模型网关接到一次流量突刺:某业务方把批处理脚本从每天 2 次改成每 5 分钟一次,瞬时 QPS 从 12 涨到 70。上游推理服务开始返回 429,而网关自己的 QPS 计数器显示"没超限"。事后复盘发现,问题不在速率,而在在途请求数:单次生成平均 4 秒、长尾 20 秒,70 QPS 乘上 4 秒就是 280 个并发,直接把连接池和显存打满。

这件事让我把限流从"一个令牌桶"改成了"令牌桶 + 并发信号量"的组合。下面是实现和一组可复现的压测数据。

一、两种限流各自管什么

令牌桶控制速率:每秒放多少个请求进去,允许一定突发。它对短请求很有效,但对 LLM 这类"耗时随输出长度线性增长"的服务,速率达标不等于系统安全。

并发信号量控制在途数量:同一时刻最多有多少个请求在跑。它天然贴合显存、连接池这类"容量型"资源,缺点是排队会把延迟推高,必须有排队上限和超时。

结论很简单:桶负责削峰,信号量负责守住容量,两者串起来用。

二、最小实现

下面两个类加起来不到 40 行,依赖只有 asyncio 标准库:

import asyncio, time

class TokenBucket:
    def __init__(self, rate: float, burst: int):
        self.rate, self.burst = rate, burst
        self.tokens, self.ts = float(burst), time.monotonic()
        self._lock = asyncio.Lock()

    async def acquire(self, n: int = 1) -> None:
        while True:
            async with self._lock:
                now = time.monotonic()
                self.tokens = min(self.burst, self.tokens + (now - self.ts) * self.rate)
                self.ts = now
                if self.tokens >= n:
                    self.tokens -= n
                    return
                wait = (n - self.tokens) / self.rate
            await asyncio.sleep(wait)

class ConcurrencyLimiter:
    def __init__(self, limit: int, queue_timeout: float = 8.0):
        self._sem = asyncio.Semaphore(limit)
        self.queue_timeout = queue_timeout

    async def __aenter__(self):
        try:
            await asyncio.wait_for(self._sem.acquire(), self.queue_timeout)
        except asyncio.TimeoutError:
            raise RuntimeError("queue_timeout") from None
        return self

    async def __aexit__(self, *exc):
        self._sem.release()

调用顺序必须是先信号量、后令牌桶:

async with limiter:              # 先拿到"在途名额"
    await bucket.acquire()       # 再等"速率配额"
    resp = await call_model(prompt)

反过来写,请求会先攥着令牌在信号量上排队,令牌空转过期,实测有效吞吐下降约 9%。

三、压测与数据

环境:8 核 16G 网关容器,上游为同一模型的 4 个副本,压测客户端固定 120 并发、请求体 512 token、输出上限 256 token,每轮 10 分钟取稳态 8 分钟。

方案 吞吐(req/s) P50 P99 429 占比 峰值在途
仅令牌桶 20 QPS 19.8 4.1s 21.4s 0.3% 214
仅信号量 32 18.6 3.8s 12.7s 0.0% 32
组合 20 QPS + 32 19.6 4.0s 9.8s 0.0% 32

三点值得注意:

  1. 组合方案的吞吐几乎没掉(19.6 对 19.8),P99 却从 21.4 秒降到 9.8 秒。原因是长尾请求不再堆积成雪崩,排队时间被上限截断。
  2. 仅信号量的方案 P99 也不错,但在突刺时会主动拒绝超额请求,业务侧看到的是"排队超时",体验不如组合方案平滑。
  3. 峰值在途从 214 降到 32,连接池占用下降 85%,这才是活动期间不再触发 429 的直接原因。

四、三个容易踩的坑

burst 不要给太大。 令牌桶 burst 设成 rate 的 10 倍时,突刺会让信号量瞬间排满长队,P99 反而上升到 15 秒以上。实践里 burst 取 1 到 2 秒的配额比较稳。

信号量要按模型维度设,不要全局一个。 小模型单请求 200ms、大模型 6 秒,混用一个池会让快请求被慢请求堵死。我们按"模型 × 副本数 × 单副本并发"分别建池。

排队必须能早失败。 网关侧给排队加了 8 秒上限,超时直接返回可重试错误,比让客户端等 30 秒再超时对上游更友好 —— 后者会在上游已经算完时白白浪费一次推理。

五、小结

LLM 服务的限流不是"限制每秒多少次"这么简单,速率和在途数是两个正交维度。令牌桶削峰、信号量守容量、排队设超时,这三件事做完,一次 6 倍的流量突刺才不至于把整个网关拖垮。代码不到 40 行,收益是 P99 延迟减半和连接池占用下降 85%,性价比相当高。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。