华为云 DDM 分布式数据库中间件分库分表路由错配导致跨片查询超时的一次完整排查
一、问题现象
订单查询服务的数据层用 DDM 中间件挂 4 个 RDS for MySQL 分片。一次版本发布后,运营后台「按客户查近 30 天订单」接口开始间歇性 504,P99 从 320ms 抬到 8s 以上;同一时刻按订单号查单笔详情却稳定在 20ms 以内。超时集中在上午十点与下午三点各一波。起初怀疑索引,很快排除。有用的线索是:慢查询条件里只有 customer_id 和 create_time 范围,不带分片键 order_id。
二、先确认不是数据库本身慢
先看 DDM 控制台慢 SQL 与实例监控:四个分片 CPU 都在 30% 以下,慢查询日志几乎没有对应的单分片语句。也就是说 SQL 到达分片后执行得很快,慢在「到达分片之前」。再用执行计划解释对比两类语句:按订单号查时路由到单个分片、分片数 1;按客户加时间范围查时分片数变成 4,且出现跨片结果归并。范围就此缩到路由层——语句被广播到全部分片再归并,任何一个分片碰上例行备份或批量写入都会拖高整体 P99,这正好解释了间歇性。
三、路由键与分片规则的核对
导出逻辑库建表语句后确认:订单主表按 order_id 做 hash 分 4 片,customer_id 只是普通列,按客户查必然全分片扫描。这在设计时是已知的,上线靠一张「customer_id 到 order_id 列表」的冗余映射表规避:先查映射拿订单号集合,再按订单号回主表。问题于是变成:规避链路为什么最近失效?翻发布记录发现,本次把映射查询的返回类型从字符串列表改成了长整型数组,同时换了数据源连接池;应用日志随之出现大量「映射表命中 0 行」,而命中为空时代码走兜底分支,直接拿 customer_id 查主表。兜底原本只用于极少数历史数据,最近却成了主路径。
四、根因:类型隐式转换让映射查询落空
映射表里 customer_id 是带前导零的定长字符串。改成长整型数组后,「00123456」被转成 123456 且拼进 SQL 时丢掉引号,字符串列与数字常量比较触发 MySQL 隐式类型转换,带前导零的行一条也匹配不上,返回空集合,进而触发全分片兜底。这是典型的「小改动经兜底逻辑放大成全库扇出」。叠加因素是新连接池把单条 SQL 超时从 3s 调到 10s,原本会被快速失败熔断的跨片查询一直占连接等到 8s,午高峰连接池耗尽、接口大面积 504,与两波高峰完全对上。
五、修复与回归验证
三步当天上线:其一,映射查询恢复字符串参数并显式加引号,入参做长度与前导零校验;其二,兜底分支加硬开关,命中 0 行时返回明确的「数据未就绪」错误并打点告警,不再隐式回退全分片;其三,单条超时调回 3s,连接池加跨片语句并发上限。上线后压测回放问题客户号:映射命中率回到 100%,执行计划重新变成单分片或少量点查,P99 从 8s 回落到 290ms,连接池活跃线程峰值降约七成,连续两天无 504。
六、事后沉淀的检查清单
值得记下的不是某个参数,而是三条判据。第一,判断分布式数据库问题先问「这条语句路由到几个分片」,再看单节点监控。第二,任何「查不到就全表兜底」的代码都是风险点,兜底必须可观测、可熔断,最好默认关闭。第三,字段类型的隐式转换在单机上可能只是慢一点,在分片中间件上会直接改变路由结果,涉及路由字段、映射键值的类型改动必须单独做一次执行计划回归。这三条已写进评审清单,CI 里也加了静态检查:禁止订单主表查询条件出现不含 order_id 的组合。
- 点赞
- 收藏
- 关注作者
评论(0)