数据库迁移后的运维实践:备份验证与监控基线重建

举报
数据库小学妹 发表于 2026/11/19 09:45:05 2026/11/19
【摘要】 系统切到新库第二周,备份任务天天绿着,恢复演练时发现备份是空的。文章把上线后的运维拆成备份恢复、监控指标、巡检项、定位命令、告警阈值五件事,给出逐项重搭的清单和一页值班卡的写法。

大家好,我是数据库小学妹👋 我踩过的坑,你别再踩。

今年夏天跟完一个迁移项目。割接那天很顺,数据比对一致,业务没停。我在群里发了个"搞定",回家睡了一觉。第二周做恢复演练,我点开备份目录,最新的备份文件是 0 字节。回头看监控,备份任务一路绿着,连续五天。那一刻我才明白,迁移真正的验收点不在割接当天。

一、上线之后要重搭五件事

迁移上线前做的事,和上线后要维护的东西,是两套清单。上线前是评估、改造、割接、比对。上线后是备份恢复、监控指标、巡检项、故障定位、告警阈值。两套清单经常被当成一套,这才是我吃亏的起点。

这五件事在旧库上都有成熟流程。问题是它们不能照抄。不是不会用,是坐标换了:参数、视图、日志位置都换了一套。搬过去的是数据,不是运维习惯。

不能搬的原因很具体。命令不一样,视图名字不一样,日志位置不一样。参数的度量口径也不一样。旧库的复制延迟是一个数,新库可能拆成两段。同一个问题,问法都得换。上线前那套七步 POC 是另一篇的事,这篇只讲上线之后。

差异单看都不难。凑在一起,就是"运维接不上"。值班的人出故障时找不到熟悉的命令,比什么都危险。所以我把它拆成五件事,逐项过。反过来说,新库也有旧库没有的东西,等待信息分得更细,工具链更集中,重建时顺手用上,收益是加倍的。这两年换库的团队大多在信创项目里,金仓这类国产库一般自带备份、监控、巡检工具,缺的常常是把旧流程翻译一遍的耐心。

二、备份:先证明它能恢复

备份只认一个标准。能不能恢复出你想要的那一刻。所以换库后的第一步不是配任务,是把恢复跑通一次。再把校验做成任务的一部分,缺一项绿勾都不算数。

# 备份检查清单(每次跑完都留痕)
1. 产物大小是否与前次同量级(相差 20% 以上要报警)
2. 校验和或页校验是否通过
3. 恢复到临时实例,抽查三张核心表的行数与最大时间戳
4. 恢复耗时是否仍在 RTO 以内
5. 备份保留策略与日志保留天数是否对得上

前四条多数人都会做。第五条最容易被忽略。全量保留七天,日志只留三天,中间就有个窗口恢复不了。旧库这参数是配好的,新库是默认值。没人对过,就等于没有备份。

我那次的问题更蠢。脚本里旧命令的返回值被 || true 吃掉了。监控只认脚本退出码,不认备份产物。任务是成功,产物是空的。绿勾和真相之间,隔着一个符号。

三、监控:指标得重建基线

监控不能照搬旧库阈值。指标名字和算法都变了。连接数在旧库是全局计数,新库可能分活跃与会话两个视角。同一个健康度,两个口径数值差很远。

正确做法是先采两周基线,再定阈值。这两周不做任何调参,只看曲线。找出业务高峰、批处理窗口、备份时段的正常水位。阈值按 P95 加余量定,别拿旧库的数字硬套。

观测项 旧库常见口径 换库后要确认的事
连接 当前连接数、最大连接数 是否区分活跃与空闲、上限能否动态调
锁等待 等待次数与最长等待 等待视图叫什么、能否定位到阻塞源
复制延迟 一个延迟秒数 是否拆成传输与应用两段、单位是否一致
缓存命中 命中率百分比 分子分母的定义、是否含后台读
慢查询 执行时间阈值 阈值单位、是否含锁等待时间
事务与回滚 提交与回滚计数 是否统计子事务、回滚占用怎么看

这张表我建议逐行填一遍。填不出来的那几行,就是上线后会出事的地方。填得出来,阈值才有依据。填完记得发给值班的人,别只存在自己电脑里。

四、定位:把常用动作写成一页

值班的人出故障时不会翻文档。只会找最熟的那几条命令。换库之后这些命令全变了。所以要把动作整理成一页,按"我要干什么"排序。

# 值班卡(贴在内网首页)
查会话:SELECT * FROM <会话视图> WHERE state <> 'idle' ORDER BY 开始时间;
看阻塞:<锁等待视图> 里找 blocking 与 waiting 两列
看计划:EXPLAIN <SQL>;要实际行数用 EXPLAIN ANALYZE
杀会话:<终止会话语法>,杀之前先确认事务大小与回滚代价
改参数:先看当前值,再确认是否需要重启生效

这张卡的价值在"语法不用想"。出事时人容易慌。多查一次文档,就多五分钟。我们后来把它做成了内部搜索框第一条,输入"阻塞"直接出命令。

按功能排序的文档没人看。按动作排序的才会用。这个区别我做过两次迁移才想明白。文档写给谁看,决定了它该怎么排。

五、巡检:脚本要重写,不要硬套

巡检最容易犯的错是"能跑就算迁移完"。旧脚本里的系统视图在新库上可能不存在。跑出来是空结果,脚本还不报错。报告全是零,看着一切正常。

这种"看起来正常"的巡检比报错更危险。它会让人以为一切在掌控里。真出事那天,才发现三个月没采到数。报错至少还会提醒你一次。

重写时按项核对。表空间与增长、连接与等待、锁与长事务、备份产物与恢复记录、错误日志关键词、同步状态。每一项都要在新库上真跑一次。跑不通,就说明这一项还没迁完。

跑完还要看值合不合理。有值但值错了更麻烦。比如复制延迟永远显示 0,可能是取错了视图。把输出贴进报告模板,这一项才算过。

六、演练:至少一次完整故障

上线后一个月内,一定做一次完整演练。找个非高峰,人为制造一次会话阻塞或主备切换。让值班同学按值班卡走完流程。时间别拖,拖过一个月就没人提了。

演练不是为了证明系统好用。是为了暴露"哪一步没人会"。哪一步卡住,哪一步就是上线后的风险点。卡住的地方,补文档或者补人。

第二周那次演练就暴露了两件事。一是恢复耗时比预估多一倍,因为新库要先建基线。二是值班同学不知道日志在哪台机器上。两件都不难修,但不演练就会在真故障时一起爆发。

七、避坑清单

备份必须做恢复验证才算完成。任务显示成功只是第一步。产物大小、校验和、恢复耗时,三项都要有记录。

监控阈值要重新采基线,别照搬旧库。同一个指标名在不同库里算法可能不同。硬套的结果是告警要么天天响,要么永远不响。

最后一条是我自己踩的。脚本里那句 || true 是两年前加的,为了"别让备份失败卡住流水线"。迁移时整段脚本照抄,结果连续五天备份是空的,监控全绿。现在我在备份任务后面加了强校验。产物小于阈值就退出非零,并直接推到告警群。谁也别想安静地失败。

写在最后

迁移的终点不是数据搬完,是运维能独立跑起来。判断标准很朴素。值班的人不看旧文档,也能处理一次故障。这条比任何性能指标都硬。

换库改的是技术栈,考验的是运维体系。把备份、监控、巡检、定位、阈值这五件事逐项重搭一遍,再演练一次,才算真正上线。这套动作走完,迁移才算收尾,剩下的才是调优。文中的备份与演练时长为示意值,具体以你的环境为准。

你们迁移之后,备份验证是怎么做的?巡检脚本重写过吗?这两项是换库后最容易漏的。评论区说说你踩过的第一个坑,我帮你看看还缺什么。

我是数据库小学妹,帮你少走弯路少踩坑,咱们下篇见👋

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。