OBS跨区复制延迟拖慢回滚

举报
yd_272744321 发表于 2026/11/12 10:31:01 2026/11/12
【摘要】 我把应用包放在OBS北京区域桶内,再复制到华东区域作为回滚源。上线后发现复制任务持续失败,回滚窗口被迫延长。本文记录权限修正、失败任务重试、对象数量核对和费用核对过程。

原本只想要一个回滚副本

我们的发布脚本把应用包、配置模板和前端静态文件写进北京区域的OBS桶,应用服务器通过内网读取。华东区域原本没有部署节点,但值班表里写着“必要时可以从华东拉起一套服务”,我担心北京区域存储抖动时连回滚文件都取不到,就给这个桶配置了跨区域复制。

源桶是obs://release-cn-north-4,目标桶是obs://release-cn-east-3,复制前缀限定为releases/。源桶和目标桶都开启了多版本,位于同一账号下,存储类别使用标准存储。规则创建后控制台显示“已启用”,源桶里也出现了复制任务,我便把它接进了发布流水线,当时没有单独验证权限和目标桶落地情况。

发布环境是一台c7.large.4 ECS,规格为2台vCPU、8GiB内存,操作系统是CentOS 7.9,流水线工具版本为发布脚本1.12.3、OBS SDK 3.23.7。机器上安装obsutil 2.7.8,通过ECS内部地址访问OBS,同一可用区内的普通PUT请求中位耗时为86毫秒。我原本准备用它做复制校验,后来只改了检查方式,改成直接检查控制台和桶内对象数量,并没有等待目标桶出现相同前缀。

obsutil stat obs://release-cn-north-4/releases/20250308/app.tar.gz
obsutil ls obs://release-cn-north-4/releases/ -s
obsutil ls obs://release-cn-east-3/releases/ -s

3月8日这次发布生成的应用包为1.83GiB,共包含37个文件和12,641个小文件。流水线在源桶写入成功后返回退出码0,目标桶对象数量却比源桶少12,604个。控制台没有向流水线返回失败,这是最让我放松警惕的地方,因为发布记录里只有一行upload completed, status=200。

发布脚本只确认源桶HTTP状态码为200,没有检查跨区域复制任务是否完成。

我最初以为OBS在内部同步有延迟,等了8分钟再做一次数量对比,差异没有变化。此时距离本次发布已经过去26分钟,华东回滚脚本自然不能执行,我第一次尝试执行时得到的报错是NoSuchKey: The specified key does not exist. status=404, RequestId: 4e91c2a7b8084f65a0d31c4e5f2718ab。

我还试过重启复制规则。停止规则用了23秒,再启动时控制台返回OperationInProgress: Another operation is in progress for replication rule rcr-9f3c2a71. Retry after 15 seconds.,连续重试4次仍是相同结果。这个操作没有解决权限问题,反而让规则状态多花了约1分钟才恢复稳定,我后来没有再依赖这种重启方式。

校验必须等到目标桶可用

我从OBS控制台的跨区域复制任务详情里复制了原始错误:AccessDenied: You do not have permission to perform this operation. RequestId: 6b1e2c3d4e5f67890a1b2c3d4e5f6789。控制台顶部虽然显示规则启用,但执行复制任务的IAM身份没有对应权限。

账号使用的是IAM用户而不是根用户。我检查它的策略,确实能执行obs:PutObject、obs:GetObject和obs:ListBucket,却缺少obs:PutObjectReplication与obs:GetObjectReplication。这两个动作在源桶和目标桶资源上都出现了限制,没有简单地只允许桶级操作。

我补了一条最小权限策略,资源限定到这次发布使用的两个桶。这里我踩过一次坑:第一次把动作写成通配符obs:*,测试虽然通过,但不符合我们的权限审计要求,于是又收窄成上面的两个复制相关动作,并保留操作审计记录。第一次策略保存后,IAM页面提示“策略已保存”,但复制任务仍报AccessDenied,因为修改的是发布脚本使用的IAM用户,而复制规则绑定的是另一个服务身份。这个差异我查了18分钟才确认。

{
  "Version": "1.1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "obs:PutObjectReplication",
        "obs:GetObjectReplication"
      ],
      "Resource": [
        "obs://release-cn-north-4",
        "obs://release-cn-east-3",
        "obs://release-cn-north-4/*",
        "obs://release-cn-east-3/*"
      ]
    }
  ]
}

IAM策略传播用了约90秒。我没有立刻重跑整条发布,而是在控制台重试其中一条失败任务。对象大小为19MiB,目标桶在47秒后出现,复制的文件内容和ETag一致。权限问题解决后,剩余对象在13分钟内完成复制,控制台最终记录为12,641个对象成功、0个失败。

这次发布最终耗时47分钟,回滚窗口比计划多了39分钟。后来的发布包改成单个OCI镜像,单文件4.7GiB,复制耗时约6分18秒,差异才没有那么刺眼,但我知道这只是文件粒度改变带来的结果,不能说明原来的小文件方案已经可靠。

我在流水线里增加了一个校验步骤。它先从源桶读取对象清单,把带有20250308发布标记的对象逐个与目标桶比对。这个步骤首次执行耗时4分09秒,第二次执行因为走了本地缓存只用了18秒。缓存文件放在ECS的/var/cache/obs-release/目录,每隔10分钟刷新一次,缓存键使用发布标记和目标桶名。

obsutil ls obs://release-cn-north-4/releases/20250308/ -s > source.list
obsutil ls obs://release-cn-east-3/releases/20250308/ -s > target.list
diff -u source.list target.list

对象数量核对只能证明复制任务的表面结果。我还补了MD5校验,抽样检查了37个对象中的20个,校验文件总大小为6.4GiB,耗时8分26秒。全部抽样文件一致,但小文件没有被逐个读取,这个限制我暂时接受。

我们还把跨区域复制从发布成功条件里拆出来,改成发布后单独运行的同步门禁。脚本会每15秒检查一次任务状态,最长等待20分钟,超过阈值就返回退出码42,并把源桶、目标桶、复制任务ID和RequestId写进发布日志。这样华东回滚不再依赖控制台的人工判断。

源桶所在区域到目标区域的跨区域流量按控制台估算为18.70元,当天费用明细实际为19.26元,多出的部分来自版本信息和重复请求。控制台当时给出的请求单价口径与账单明细不完全一致,我后来按账单反推,约为每万次PUT请求0.42元。

我们把配置模板从前端发布包里拆了出来,不再跟着静态文件做跨区域复制。模板只有42KiB,保留在线拉取即可。下一轮我会继续验证复制任务的延迟分位数,并给流水线增加SSE-KMS密钥区域不匹配的检查,这一部分目前还没有实测数据。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。