Redis 主线程与 IO 线程模型
"Redis 是单线程的"这句话在 Redis 6.0 之后已经不完整:网络读写可以交给多个 IO 线程,命令执行仍然只有一个主线程。很多吞吐上不去的实例,瓶颈恰恰不在执行而在收发包,io-threads 就是为此准备的开关。本文基于 Redis 7 讲清单线程模型的收益与短板、IO 线程的分工方式,以及什么条件下值得开启、如何验证收益。
一、单线程为什么快,又卡在哪里
Redis 的命令都是内存操作,一次 GET 的执行成本在微秒甚至纳秒级,CPU 算力远没用满。相比之下,把请求从 socket 读进来、解析 RESP 协议、把响应写回去的网络开销要大得多。单线程执行还带来三个实打实的好处:没有锁竞争、没有线程上下文切换、命令天然原子,实现简单且行为可预测。
架构上也要澄清一个误解:Redis 从来不是"只有一个线程"。BGSAVE 的 fork 与落盘、AOF 重写、惰性删除的后台释放都跑在专门的后台线程上,"单线程"特指命令执行这一段。
真正的卡点在网络:当实例接了万兆网卡、几万 QPS、value 又偏大时,收发包与协议解析的耗时开始超过命令执行本身。表现为一个核被主线程打满,机器上其他核全部空闲——CPU 明明有富余,吞吐却上不去。
这类瓶颈有一个特征性证据:系统态 CPU 占比明显偏高。因为收发包涉及 read/write 系统调用,主线程大部分时间耗在内核态而不是用户态。用 mpstat 或 top 观察,如果 %sys 接近 %usr,说明系统调用开销已经不可忽略;如果 %sys 远低于 %usr,瓶颈多半在命令执行逻辑上,开 IO 线程帮助不大。这条判据比"看到单核 100%"更精确,因为它区分了"在算"和"在收发"。
二、io-threads 的分工:读写并行、执行串行
Redis 6.0 引入 I/O threading:1 个主线程加 N-1 个 IO 线程,分工方式是"读写并行、执行串行"。
写回路径是默认多线程的部分:主线程先把一批待写回的客户端按轮询方式分给各个 IO 线程,大家一起调用 write 把响应发出去,主线程自己也认领一份。读取路径由 io-threads-do-reads 控制,开启后各线程并行读 socket 并解析请求;默认 no,是因为解析的成本通常低于写回的系统调用成本,收益不明显。
无论读写怎么并行,命令的执行阶段永远由主线程串行完成:一批请求解析完之后,命令一条条执行。这带来两个重要推论:一是原子性语义完全不变,客户端代码不需要任何改造;二是慢命令依然会阻塞所有请求,IO 线程救不了 Lua 脚本和大 key 操作。
还有一个容易被忽略的细节:待处理客户端数量不够多时,Redis 会自动退回单线程处理(门槛大约是线程数的两倍)。低负载实例即使开了 io-threads,多数时间并不会真正用上多线程。
三、开启与调参
# io-threads 默认为 1,等于关闭;CONFIG SET 重启后失效,需 REWRITE 固化
CONFIG SET io-threads 4
CONFIG SET io-threads-do-reads no
CONFIG REWRITE
线程数的官方建议:4 核机器用 2~3,8 核用 6 左右,不要等于或超过机器核数——主线程、后台线程与操作系统调度都需要 CPU。容器里部署还要确认 CPU limit 大于线程数,否则线程互相争抢反而变慢。
是否生效看两处:INFO server 里的 io_threads_active 为 1,说明当前正处于多线程 IO 状态;用 top 观察 redis-server 进程的 CPU 从单核 100% 变成多核分担,也是直观信号。
redis-cli INFO server | grep io_threads
# io_threads_active:1
# io_threads:4
io_threads 是配置值,io_threads_active 是实际状态。两者不一致是常见疑问:配置为 4 但 io_threads_active 为 0,说明当前待处理客户端数量没达到启用门槛,Redis 退回了单线程。观察一段时间,如果 io_threads_active 始终为 0,那么配置了这个参数也没有实际效果——此时该确认的是 QPS 是否真的够高,而不是继续调大线程数。
线程数还有一条隐含约束:每个 IO 线程只负责自己分到的那批客户端,客户端分布靠主线程轮询分配。如果连接数很少(比如只有几十个),即使 QPS 很高,分摊到每个线程的连接数也太少,并行度上不去。这就是官方建议"连接数多"才有收益的原因——它限制的是分摊粒度,而不是线程本身的能力。
四、什么场景值得开,怎么验证
收益明显的画像:核数富余、QPS 高、value 偏大(KB 级以上)、客户端连接数多且命令短小。收益不明显的画像:value 很小、已经大量使用 pipeline 合并请求、单核都没跑满,或者已经用 Cluster 横向扩容摊掉了流量。
验证必须用固定口径前后对比:
# 开启 io-threads 前后各跑一次,参数完全一致;-d 模拟 1KB value
redis-benchmark -h 127.0.0.1 -p 6379 -c 300 -n 1000000 -d 1024 -t get,set -q --threads 4
--threads 4 让 benchmark 客户端自身也用多线程,避免压测工具先成为瓶颈;严谨的做法是客户端与服务端分属两台机器。压测期间用 SLOWLOG 和 LATENCY 确认延迟没有恶化,吞吐提升才算数。
注意:io-threads 提升的是吞吐上限,不缩短单条命令的延迟。慢命令治理(SLOWLOG 巡检、脚本超时、大 key 异步删除)一个都不能少,两者是互补关系。
常见坑 / 最佳实践
- io-threads 不要设成机器核数。 主线程与后台线程也要 CPU,4 核用 2~3、8 核用 6 是官方给出的经验值;容器环境先核对 CPU limit。
- io-threads-do-reads 保持默认 no。 先只开写回路径,确实观察到解析开销大(长参数、大请求体)再做读路径的对比实验。
- 改完必须 CONFIG REWRITE。 否则重启后回退单线程,压测收益"神秘消失"的问题多半出在这里。
- 开启后不要放宽慢命令治理。 执行仍是单线程,SLOWLOG、LATENCY 的告警阈值照旧配置,io-threads 不能替代它们。
- 压测口径要一致。 前后两次的 -c/-n/-d、网络路径、客户端机器完全相同,并确认 benchmark 自身不饱和,否则对比结论无效。
小结
- "单线程"指命令执行;Redis 6.0 起 socket 读写与协议解析可交给 io-threads 并行,执行阶段始终串行。
- 原子性语义不变,客户端零改造;慢命令依旧阻塞全部请求,治理手段不可省略。
- 配置只有 io-threads 与 io-threads-do-reads 两个参数,4 核用 2~3、8 核用 6,改完 CONFIG REWRITE。
- 适合核数富余、高 QPS、value 偏大的实例;小 value、重 pipeline、已上 Cluster 的场景收益有限。
- 用 redis-benchmark 固定口径前后对比,用 INFO server 的 io_threads_active 确认多线程真的在跑。
- 点赞
- 收藏
- 关注作者
评论(0)