Doris信创X86集群数据迁移至ARM后BE崩溃问题处理

举报
Lettle whale 发表于 2026/11/12 17:07:44 2026/11/12
【摘要】 Doris X86迁移ARM环境,BE崩溃问题的解决

一、问题现象

使用Doris的备份恢复或CCR同步数据,从X86集群迁移数据至ARM集群,迁移完成后,执行SQL会导致数个BE节点崩溃

这个问题Doris 2.1.8以及2.1.11都会出现,问题的堆栈跟如下Doris论坛上的帖子基本一致

https://doris-forum.org.cn/questions/D1UB4/qiu-zhu-pin-fan-zhong-qi-mu-qian-tui-ce-you-yu-nei-cun-guan-li-neng-fou-fen-xi-bang-mang-ju-ti-bao-cuo-he-ti-gong-jie-jue-cuo-shi

二、问题分析

1、将应用的查询迁移至ARM集群后,ARM集群的BE就开始频繁崩溃,应用无法正常执行业务;然后迁移回X86环境,查询开始正常,应用无报错;通过查看SQL,是最基本的Select count(*), SQL语法不会有问题,极大可能是ARM架构的问题。

2、将堆栈及SQL语句发给AI进行分析,给出的分析是

一个是:“你当前 Doris 版本的 BE 在 ARM 架构下存在内存 / 指针对齐 / HashTable 聚合的底层 Bug”

一个是:“多个 Pipeline 执行线程(Worker)同时调用 add_block,竞争同一把互斥锁时发生了冲突。这种冲突可能源于锁本身已被意外损坏,或者某个线程在操作共享数据(如 PipChannel)时没有正确持有锁”

然后AI分别给出了2个参数进行调整,一个是enable_pipeline_engine = false,一个是enable_inverted_index =  false

AI提示让先关闭这2个参数,试一试SQL还会不会报错,测试结果是还会报错

这里其实有效的参数是第二个,但是AI当时给错的参数名,正确的参数名应该是enable_inverted_index_query,在SQL的session里面设置 set enable_inverted_index_query = false,在临时生效后,然后再执行查询SQL,

发现BE不会再崩溃了,将该参数设置会true之后,BE就继续崩溃,到此为止,基本把问题缩小到了倒排索引。

3、此问题在ARM的测试环境造数复现的时候,始终没有出现,仅出现在X86迁移数据到ARM的集群上,于是认为是X86迁移过来的数据,在ARM上不兼容,

因为是倒排索引问题,于是将该倒排索引删除掉,重新创建倒排索引,并观察索引重建完成,这时候再执行SQL语句,查询也正常了,BE不会崩溃

就此,已经确定是倒排索引数据的问题,通过AI进行分析,得出

Doris 2.1 内置的 CLucene,对 mmap 映射的索引 buffer 直接做 reinterpret_cast 强转指针读取,没有做对齐拷贝;

  • x86 CPU 硬件自动容忍非对齐加载;
  • AArch64 严格,mmap 返回的 buffer 如果起始地址不满足类型对齐要求,直接 SIGBUS。
  • 从 x86 备份恢复过来的索引文件:mmap 映射出来的内存地址,有更大概率落到非对齐偏移,触发 crash;
  • ARM 本地重建索引:索引数据从堆内存写出,后续 mmap 出来的偏移经常刚好对齐,现象上表现为 “重建就好了”;

三、问题解决

针对这问题,从X86迁移到ARM的Doris表,都必须先删除倒排索引,再重建倒排索引去规避此问题

想要彻底解决,要升级到Doris 3.1或Doris 4更高版本

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。