热点 key 过期的那一秒,数据库被打挂了
20点整,监控上数据库的 QPS 从 2000 冲到 18000,连接池瞬间打满,接口大面积超时。
第一次误判:以为被爬了
先看网关日志,请求来源都是正常用户,IP 分散,UA 正常。不是攻击。
再看慢查询,几乎全是同一条 SQL——按商品 ID 查详情。这条 SQL 平时走缓存,一天也落不到数据库几次。
真因:一个热点 key 过期了
那个商品在搞整点秒杀,20:00 整,详情页缓存恰好过期。
一瞬间,三万个请求同时发现缓存没了,全部穿透到数据库查同一行。数据库扛住了这一下,但响应变慢,请求堆在连接池里,后面的请求都在等——等的时候缓存还是空的,于是又来一波。
这不是缓存穿透(查询不存在的数据),也不是缓存雪崩(大批 key 同时过期)。是缓存击穿:一个热点 key 过期,并发全部打到后端。
为什么扩容没用
第一反应是加应用实例。加到 12 个,情况更糟——实例越多,同时穿透的并发越大,数据库越吃不消。
这跟之前那次消费组重平衡一个道理:问题不在算力,在协调。这里缺的是「同一时刻只允许一个人去重建缓存」的机制。
修复:三层
第一层,互斥锁重建。 缓存 miss 时,先拿分布式锁,拿到的去查数据库回填,没拿到的自旋等 50 毫秒再读缓存。关键是锁要设短 TTL(我们给 3 秒)防止死锁,还要用 fencing token 或者锁值校验,避免慢线程删掉别人的锁。
第二层,逻辑过期。 热点 key 干脆不设物理过期时间,value 里塞一个 expireAt 字段。读到逻辑过期就后台异步刷新,当前请求先返回旧值。用户看到的是稍微旧一点的数据,但不会出现缓存真空期。秒杀场景这点延迟完全可以接受。
第三层,随机 TTL。 批量写入的 key 过期时间加一个随机抖动,比如基础 300 秒 ± 60 秒,防止它们整齐划一地同时过期。
至于穿透(查不存在的 ID),用布隆过滤器挡在缓存前面;查不到的结果也缓存一个空值,TTL 设短一点。
兜底
光靠缓存不够,数据库侧也得有防线:
- 数据库连接池单独给详情查询留一组隔离池,别让这一个接口把整个库的池子打满;
- 对热点查询加单机限流,比如每秒 500 次,超出的直接降级返回静态页;
- 慢查询告警阈值从 1 秒降到 200 毫秒,击穿发生的第一时间就能看到。
结论
缓存是数据库的盾,但盾上有个洞——热点 key 过期的那一瞬间。
击穿、穿透、雪崩,三个词看着像,成因和解法完全不同。分清楚了,才不会在半夜对着监控乱上加机器。
- 点赞
- 收藏
- 关注作者
评论(0)