接口限流的四种实现:从固定窗口到令牌桶的取舍

举报
明yd_241851832 发表于 2026/11/15 00:07:02 2026/11/15
【摘要】 对比固定窗口、滑动窗口、令牌桶、漏桶四种限流算法在突发流量、实现成本与适用场景上的差异,并整理限流键维度、原子性、两级限流、拒绝响应与时钟回拨等落地要点,附示意代码与选型表。

本文整理自公开技术资料,代码为示意写法,未在特定框架版本上实测;生产落地请以所用中间件与网关的官方文档为准。

为什么限流总是最后才被想起

系统在正常流量下跑得很好,直到某个下游变慢、某个客户端重试风暴、或者一次营销活动把 QPS 拉高三倍,才会有人想起来要限流。此时往往已经出现连锁反应:线程池被占满、连接数打满、慢查询堆积,最后整个服务不可用。

限流的价值不在于「挡住请求」,而在于把不可控的过载转成可控的拒绝。核心问题是:超额的那部分请求,应该在哪一层、以什么粒度、用哪种算法被拦下来。

四种常见算法

1. 固定窗口计数

把时间切成固定长度的窗口,每个窗口维护一个计数器,超过阈值就拒绝,窗口切换时清零。

// 示意:按秒切分的固定窗口
long now = System.currentTimeMillis() / 1000;
if (now != currentWindow) { currentWindow = now; counter.set(0); }
if (counter.incrementAndGet() > LIMIT) {
    reject();
}

实现最简单,内存开销极小。但它有两个硬伤:临界问题——窗口边界前后各打满一次,实际在极短时间内容忍了接近两倍流量;以及无法平滑,窗口开头放行、结尾全部拒绝,行为突变。

2. 滑动窗口

把大窗口切成若干小格(例如 1 秒切 10 格,每格 100ms),统计时把最近 N 格相加。格子越细,越接近真实的「任意 1 秒内不超过阈值」。

// 示意:环形数组 + 当前格索引
int idx = (int) ((now % WINDOW_MS) / SLOT_MS);
if (slotStart[idx] != now / SLOT_MS) { slotStart[idx] = now / SLOT_MS; slotCount[idx] = 0; }
int total = 0;
for (int i = 0; i < SLOTS; i++) total += slotCount[i];
if (total >= LIMIT) reject(); else slotCount[idx]++;

精度和内存的折中比较划算,是网关层最常见的做法。代价是需要遍历或维护滑动求和,分布式环境下还要保证多格数据的一致性。

3. 令牌桶

以固定速率往桶里放令牌,桶有容量上限;请求来了取一个令牌,取不到就拒绝或等待。

// 示意:惰性计算,避免定时器
double now = System.nanoTime() / 1e9;
double tokens = Math.min(CAPACITY, tokens + (now - lastRefill) * RATE);
lastRefill = now;
if (tokens < 1) return reject();
tokens -= 1;
return pass();

它允许一定程度的突发(桶里攒下的令牌可以一次性用掉),同时长期平均速率被 RATE 卡死。这也是它比固定窗口更适合对外 API 的原因:短促的批量请求不会被误伤,但持续超量一定会被压住。

4. 漏桶

请求先进入队列,再以恒定速率流出。桶满则拒绝。它把输出整形得非常平滑,适合保护处理能力固定、且对下游抖动敏感的场景,比如写数据库、调用第三方计费接口。

代价是引入排队延迟。如果队列长度设得过大,限流就变成了「延迟放大」,用户看到的是慢而不是错,排查起来更费劲。

怎么选

算法 突发流量 实现成本 典型场景
固定窗口 临界处可翻倍 最低 内部粗粒度保护、单机兜底
滑动窗口 较平滑,粒度可控 中 网关对外限流、按秒/分钟配额
令牌桶 允许受控突发 中 开放 API、按调用方配额
漏桶 完全整形,不放大 中高(需队列) 保护固定吞吐的下游

落地时容易忽略的几点

  • 限流键的维度:按 IP、按用户、按租户、按接口,效果完全不同。NAT 后面的用户共用一个出口 IP,按 IP 限流会误伤一整片;反过来只按用户限流,又挡不住单账号刷接口。
  • 原子性:Redis 上「读计数—比较—写回」如果不是原子的,高并发下会明显放行超额。用 Lua 脚本或单命令组合,别用两次往返。
  • 本地 + 分布式两级:纯分布式限流每次请求都要一次网络往返,本身会成为瓶颈。常见做法是本地令牌桶挡掉绝大部分,超出部分再走集中式配额。
  • 拒绝要可读:返回 429 时带上 Retry-After 和剩余配额,客户端才知道该退避多久。否则重试逻辑会把限流变成压测。
  • 时钟问题:依赖本机时间计算窗口或补充令牌时,NTP 回拨会让计数器错乱。用单调时钟,或把时间基准放到集中存储。
  • 预热与冷启动:服务刚启动、缓存未热时,直接按满配额放行容易把下游打挂。冷启动阶段可以按比例爬坡。

一个务实的默认配置

如果没有明确依据,可以先按这个思路起步:网关层用滑动窗口做按租户的粗粒度配额,服务内部用令牌桶按接口做细粒度保护,下游依赖用漏桶或并发信号量控制。三者阈值分别留 20% 余量,再根据实际峰值和拒绝率调整,而不是一次性调到「刚好不报错」。

限流的阈值应该是压测和线上观测得出的,不是拍脑袋填的。先量出单实例的安全吞吐,再反推配额,比事后救火省事得多。

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。