Doris信创X86集群数据迁移至ARM后BE崩溃问题处理
一、问题现象
使用Doris的备份恢复或CCR同步数据,从X86集群迁移数据至ARM集群,迁移完成后,执行SQL会导致数个BE节点崩溃
这个问题Doris 2.1.8以及2.1.11都会出现,问题的堆栈跟如下Doris论坛上的帖子基本一致
https://doris-forum.org.cn/questions/D1UB4/qiu-zhu-pin-fan-zhong-qi-mu-qian-tui-ce-you-yu-nei-cun-guan-li-neng-fou-fen-xi-bang-mang-ju-ti-bao-cuo-he-ti-gong-jie-jue-cuo-shi
二、问题分析
1、将应用的查询迁移至ARM集群后,ARM集群的BE就开始频繁崩溃,应用无法正常执行业务;然后迁移回X86环境,查询开始正常,应用无报错;通过查看SQL,是最基本的Select count(*), SQL语法不会有问题,极大可能是ARM架构的问题。
2、将堆栈及SQL语句发给AI进行分析,给出的分析是
一个是:“你当前 Doris 版本的 BE 在 ARM 架构下存在内存 / 指针对齐 / HashTable 聚合的底层 Bug”
一个是:“多个 Pipeline 执行线程(Worker)同时调用 add_block,竞争同一把互斥锁时发生了冲突。这种冲突可能源于锁本身已被意外损坏,或者某个线程在操作共享数据(如 PipChannel)时没有正确持有锁”
然后AI分别给出了2个参数进行调整,一个是enable_pipeline_engine = false,一个是enable_inverted_index = false
AI提示让先关闭这2个参数,试一试SQL还会不会报错,测试结果是还会报错
这里其实有效的参数是第二个,但是AI当时给错的参数名,正确的参数名应该是enable_inverted_index_query,在SQL的session里面设置 set enable_inverted_index_query = false,在临时生效后,然后再执行查询SQL,
发现BE不会再崩溃了,将该参数设置会true之后,BE就继续崩溃,到此为止,基本把问题缩小到了倒排索引。
3、此问题在ARM的测试环境造数复现的时候,始终没有出现,仅出现在X86迁移数据到ARM的集群上,于是认为是X86迁移过来的数据,在ARM上不兼容,
因为是倒排索引问题,于是将该倒排索引删除掉,重新创建倒排索引,并观察索引重建完成,这时候再执行SQL语句,查询也正常了,BE不会崩溃
就此,已经确定是倒排索引数据的问题,通过AI进行分析,得出
Doris 2.1 内置的 CLucene,对 mmap 映射的索引 buffer 直接做 reinterpret_cast 强转指针读取,没有做对齐拷贝;
- x86 CPU 硬件自动容忍非对齐加载;
- AArch64 严格,mmap 返回的 buffer 如果起始地址不满足类型对齐要求,直接 SIGBUS。
- 从 x86 备份恢复过来的索引文件:mmap 映射出来的内存地址,有更大概率落到非对齐偏移,触发 crash;
- ARM 本地重建索引:索引数据从堆内存写出,后续 mmap 出来的偏移经常刚好对齐,现象上表现为 “重建就好了”;
三、问题解决
针对这问题,从X86迁移到ARM的Doris表,都必须先删除倒排索引,再重建倒排索引去规避此问题
想要彻底解决,要升级到Doris 3.1或Doris 4更高版本
- 点赞
- 收藏
- 关注作者
评论(0)