PostgreSQL 队列的隐形瓶颈:MVCC 解决了读写,没解决写写

举报
yd_258049613 发表于 2026/10/28 00:43:54 2026/10/28
【摘要】 incident.io 在 2026 年 10 月发了一篇复盘,讲他们用 PostgreSQL 做事件升级队列,每天处理约 1500 万次 ticker 操作,结果在压测中发现无法把数据库 CPU 打满,系统在上限之前就出现了瓶颈。最终通过一系列优化,峰值升级容量提升了 3.5 倍。问题的根源和 MVCC 的一个结构性事实有关。MVCC 让读不阻塞写、写不阻塞读,快照隔离大幅降低了只读查询对...

incident.io 在 2026 年 10 月发了一篇复盘,讲他们用 PostgreSQL 做事件升级队列,每天处理约 1500 万次 ticker 操作,结果在压测中发现无法把数据库 CPU 打满,系统在上限之前就出现了瓶颈。最终通过一系列优化,峰值升级容量提升了 3.5 倍。

问题的根源和 MVCC 的一个结构性事实有关。MVCC 让读不阻塞写、写不阻塞读,快照隔离大幅降低了只读查询对写入的干扰。但写写冲突并没有消失:两个并发事务更新同一行时,行级排他锁仍然存在,后到的事务必须等待。在一个队列场景中,多个 worker 并发地从同一张表中“领取”任务,如果领取逻辑涉及 SELECT ... FOR UPDATE 或对同一状态行的更新,就会在高并发下形成写写排队。

savepoints 在这个场景里扮演了一个容易被忽视的“节流器”角色。每个 savepoint 都会创建子事务,子事务的 MVCC 快照和锁行为会增加开销,在极高频率的队列操作中累积成可观的成本。复盘的核心教训不是“不要用 savepoints”,而是队列系统的并发模型需要和 PostgreSQL 的锁行为对齐:减少事务持锁时间、统一更新顺序、避免在热点行上做不必要的事务嵌套。

一个更通用的判断是:PostgreSQL 作为队列是可行的,Brandur 那篇关于 Postgres Job Queues 与 MVCC 的经典文章已经论证过这一点。但它要求你把“并发领取”设计成低冲突模式,比如用 SKIP LOCKED 配合批量化、把状态推进拆成更小的独立事务、避免长事务持有行锁。MVCC 给你的是读写不互斥,不是写写不排队。队列的吞吐上限往往不在读,而在锁的争用。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。