LLM 网关限流实测:令牌桶与并发信号量在 P99 延迟和吞吐上的差异
引子
去年双十一前,我们的模型网关接到一次流量突刺:某业务方把批处理脚本从每天 2 次改成每 5 分钟一次,瞬时 QPS 从 12 涨到 70。上游推理服务开始返回 429,而网关自己的 QPS 计数器显示"没超限"。事后复盘发现,问题不在速率,而在在途请求数:单次生成平均 4 秒、长尾 20 秒,70 QPS 乘上 4 秒就是 280 个并发,直接把连接池和显存打满。
这件事让我把限流从"一个令牌桶"改成了"令牌桶 + 并发信号量"的组合。下面是实现和一组可复现的压测数据。
一、两种限流各自管什么
令牌桶控制速率:每秒放多少个请求进去,允许一定突发。它对短请求很有效,但对 LLM 这类"耗时随输出长度线性增长"的服务,速率达标不等于系统安全。
并发信号量控制在途数量:同一时刻最多有多少个请求在跑。它天然贴合显存、连接池这类"容量型"资源,缺点是排队会把延迟推高,必须有排队上限和超时。
结论很简单:桶负责削峰,信号量负责守住容量,两者串起来用。
二、最小实现
下面两个类加起来不到 40 行,依赖只有 asyncio 标准库:
import asyncio, time
class TokenBucket:
def __init__(self, rate: float, burst: int):
self.rate, self.burst = rate, burst
self.tokens, self.ts = float(burst), time.monotonic()
self._lock = asyncio.Lock()
async def acquire(self, n: int = 1) -> None:
while True:
async with self._lock:
now = time.monotonic()
self.tokens = min(self.burst, self.tokens + (now - self.ts) * self.rate)
self.ts = now
if self.tokens >= n:
self.tokens -= n
return
wait = (n - self.tokens) / self.rate
await asyncio.sleep(wait)
class ConcurrencyLimiter:
def __init__(self, limit: int, queue_timeout: float = 8.0):
self._sem = asyncio.Semaphore(limit)
self.queue_timeout = queue_timeout
async def __aenter__(self):
try:
await asyncio.wait_for(self._sem.acquire(), self.queue_timeout)
except asyncio.TimeoutError:
raise RuntimeError("queue_timeout") from None
return self
async def __aexit__(self, *exc):
self._sem.release()
调用顺序必须是先信号量、后令牌桶:
async with limiter: # 先拿到"在途名额"
await bucket.acquire() # 再等"速率配额"
resp = await call_model(prompt)
反过来写,请求会先攥着令牌在信号量上排队,令牌空转过期,实测有效吞吐下降约 9%。
三、压测与数据
环境:8 核 16G 网关容器,上游为同一模型的 4 个副本,压测客户端固定 120 并发、请求体 512 token、输出上限 256 token,每轮 10 分钟取稳态 8 分钟。
| 方案 | 吞吐(req/s) | P50 | P99 | 429 占比 | 峰值在途 |
|---|---|---|---|---|---|
| 仅令牌桶 20 QPS | 19.8 | 4.1s | 21.4s | 0.3% | 214 |
| 仅信号量 32 | 18.6 | 3.8s | 12.7s | 0.0% | 32 |
| 组合 20 QPS + 32 | 19.6 | 4.0s | 9.8s | 0.0% | 32 |
三点值得注意:
- 组合方案的吞吐几乎没掉(19.6 对 19.8),P99 却从 21.4 秒降到 9.8 秒。原因是长尾请求不再堆积成雪崩,排队时间被上限截断。
- 仅信号量的方案 P99 也不错,但在突刺时会主动拒绝超额请求,业务侧看到的是"排队超时",体验不如组合方案平滑。
- 峰值在途从 214 降到 32,连接池占用下降 85%,这才是活动期间不再触发 429 的直接原因。
四、三个容易踩的坑
burst 不要给太大。 令牌桶 burst 设成 rate 的 10 倍时,突刺会让信号量瞬间排满长队,P99 反而上升到 15 秒以上。实践里 burst 取 1 到 2 秒的配额比较稳。
信号量要按模型维度设,不要全局一个。 小模型单请求 200ms、大模型 6 秒,混用一个池会让快请求被慢请求堵死。我们按"模型 × 副本数 × 单副本并发"分别建池。
排队必须能早失败。 网关侧给排队加了 8 秒上限,超时直接返回可重试错误,比让客户端等 30 秒再超时对上游更友好 —— 后者会在上游已经算完时白白浪费一次推理。
五、小结
LLM 服务的限流不是"限制每秒多少次"这么简单,速率和在途数是两个正交维度。令牌桶削峰、信号量守容量、排队设超时,这三件事做完,一次 6 倍的流量突刺才不至于把整个网关拖垮。代码不到 40 行,收益是 P99 延迟减半和连接池占用下降 85%,性价比相当高。
- 点赞
- 收藏
- 关注作者
评论(0)