热点 key 过期的那一秒,数据库被打挂了

举报
yd_251777447 发表于 2026/11/22 22:44:08 2026/11/22
【摘要】 20点整,监控上数据库的 QPS 从 2000 冲到 18000,连接池瞬间打满,接口大面积超时。 第一次误判:以为被爬了 先看网关日志,请求来源都是正常用户,IP 分散,UA 正常。不是攻击。 再看慢查询,几乎全是同一条 SQL——按商品 ID 查详情。这条 SQL 平时走缓存,一天也落不到数据库几次。 真因:一个热点 key 过期了 那个商品在搞整点秒杀,20:00 整,详

20点整,监控上数据库的 QPS 从 2000 冲到 18000,连接池瞬间打满,接口大面积超时。

第一次误判:以为被爬了

先看网关日志,请求来源都是正常用户,IP 分散,UA 正常。不是攻击。

再看慢查询,几乎全是同一条 SQL——按商品 ID 查详情。这条 SQL 平时走缓存,一天也落不到数据库几次。

真因:一个热点 key 过期了

那个商品在搞整点秒杀,20:00 整,详情页缓存恰好过期。

一瞬间,三万个请求同时发现缓存没了,全部穿透到数据库查同一行。数据库扛住了这一下,但响应变慢,请求堆在连接池里,后面的请求都在等——等的时候缓存还是空的,于是又来一波。

这不是缓存穿透(查询不存在的数据),也不是缓存雪崩(大批 key 同时过期)。是缓存击穿:一个热点 key 过期,并发全部打到后端。

为什么扩容没用

第一反应是加应用实例。加到 12 个,情况更糟——实例越多,同时穿透的并发越大,数据库越吃不消。

这跟之前那次消费组重平衡一个道理:问题不在算力,在协调。这里缺的是「同一时刻只允许一个人去重建缓存」的机制。

修复:三层

第一层,互斥锁重建。 缓存 miss 时,先拿分布式锁,拿到的去查数据库回填,没拿到的自旋等 50 毫秒再读缓存。关键是锁要设短 TTL(我们给 3 秒)防止死锁,还要用 fencing token 或者锁值校验,避免慢线程删掉别人的锁。

第二层,逻辑过期。 热点 key 干脆不设物理过期时间,value 里塞一个 expireAt 字段。读到逻辑过期就后台异步刷新,当前请求先返回旧值。用户看到的是稍微旧一点的数据,但不会出现缓存真空期。秒杀场景这点延迟完全可以接受。

第三层,随机 TTL。 批量写入的 key 过期时间加一个随机抖动,比如基础 300 秒 ± 60 秒,防止它们整齐划一地同时过期。

至于穿透(查不存在的 ID),用布隆过滤器挡在缓存前面;查不到的结果也缓存一个空值,TTL 设短一点。

兜底

光靠缓存不够,数据库侧也得有防线:

  • 数据库连接池单独给详情查询留一组隔离池,别让这一个接口把整个库的池子打满;
  • 对热点查询加单机限流,比如每秒 500 次,超出的直接降级返回静态页;
  • 慢查询告警阈值从 1 秒降到 200 毫秒,击穿发生的第一时间就能看到。

结论

缓存是数据库的盾,但盾上有个洞——热点 key 过期的那一瞬间。

击穿、穿透、雪崩,三个词看着像,成因和解法完全不同。分清楚了,才不会在半夜对着监控乱上加机器。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。