OBS跨区复制延迟拖慢回滚
原本只想要一个回滚副本
我们的发布脚本把应用包、配置模板和前端静态文件写进北京区域的OBS桶,应用服务器通过内网读取。华东区域原本没有部署节点,但值班表里写着“必要时可以从华东拉起一套服务”,我担心北京区域存储抖动时连回滚文件都取不到,就给这个桶配置了跨区域复制。
源桶是obs://release-cn-north-4,目标桶是obs://release-cn-east-3,复制前缀限定为releases/。源桶和目标桶都开启了多版本,位于同一账号下,存储类别使用标准存储。规则创建后控制台显示“已启用”,源桶里也出现了复制任务,我便把它接进了发布流水线,当时没有单独验证权限和目标桶落地情况。
发布环境是一台c7.large.4 ECS,规格为2台vCPU、8GiB内存,操作系统是CentOS 7.9,流水线工具版本为发布脚本1.12.3、OBS SDK 3.23.7。机器上安装obsutil 2.7.8,通过ECS内部地址访问OBS,同一可用区内的普通PUT请求中位耗时为86毫秒。我原本准备用它做复制校验,后来只改了检查方式,改成直接检查控制台和桶内对象数量,并没有等待目标桶出现相同前缀。
obsutil stat obs://release-cn-north-4/releases/20250308/app.tar.gz
obsutil ls obs://release-cn-north-4/releases/ -s
obsutil ls obs://release-cn-east-3/releases/ -s
3月8日这次发布生成的应用包为1.83GiB,共包含37个文件和12,641个小文件。流水线在源桶写入成功后返回退出码0,目标桶对象数量却比源桶少12,604个。控制台没有向流水线返回失败,这是最让我放松警惕的地方,因为发布记录里只有一行upload completed, status=200。
发布脚本只确认源桶HTTP状态码为200,没有检查跨区域复制任务是否完成。
我最初以为OBS在内部同步有延迟,等了8分钟再做一次数量对比,差异没有变化。此时距离本次发布已经过去26分钟,华东回滚脚本自然不能执行,我第一次尝试执行时得到的报错是NoSuchKey: The specified key does not exist. status=404, RequestId: 4e91c2a7b8084f65a0d31c4e5f2718ab。
我还试过重启复制规则。停止规则用了23秒,再启动时控制台返回OperationInProgress: Another operation is in progress for replication rule rcr-9f3c2a71. Retry after 15 seconds.,连续重试4次仍是相同结果。这个操作没有解决权限问题,反而让规则状态多花了约1分钟才恢复稳定,我后来没有再依赖这种重启方式。
校验必须等到目标桶可用
我从OBS控制台的跨区域复制任务详情里复制了原始错误:AccessDenied: You do not have permission to perform this operation. RequestId: 6b1e2c3d4e5f67890a1b2c3d4e5f6789。控制台顶部虽然显示规则启用,但执行复制任务的IAM身份没有对应权限。
账号使用的是IAM用户而不是根用户。我检查它的策略,确实能执行obs:PutObject、obs:GetObject和obs:ListBucket,却缺少obs:PutObjectReplication与obs:GetObjectReplication。这两个动作在源桶和目标桶资源上都出现了限制,没有简单地只允许桶级操作。
我补了一条最小权限策略,资源限定到这次发布使用的两个桶。这里我踩过一次坑:第一次把动作写成通配符obs:*,测试虽然通过,但不符合我们的权限审计要求,于是又收窄成上面的两个复制相关动作,并保留操作审计记录。第一次策略保存后,IAM页面提示“策略已保存”,但复制任务仍报AccessDenied,因为修改的是发布脚本使用的IAM用户,而复制规则绑定的是另一个服务身份。这个差异我查了18分钟才确认。
{
"Version": "1.1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"obs:PutObjectReplication",
"obs:GetObjectReplication"
],
"Resource": [
"obs://release-cn-north-4",
"obs://release-cn-east-3",
"obs://release-cn-north-4/*",
"obs://release-cn-east-3/*"
]
}
]
}
IAM策略传播用了约90秒。我没有立刻重跑整条发布,而是在控制台重试其中一条失败任务。对象大小为19MiB,目标桶在47秒后出现,复制的文件内容和ETag一致。权限问题解决后,剩余对象在13分钟内完成复制,控制台最终记录为12,641个对象成功、0个失败。
这次发布最终耗时47分钟,回滚窗口比计划多了39分钟。后来的发布包改成单个OCI镜像,单文件4.7GiB,复制耗时约6分18秒,差异才没有那么刺眼,但我知道这只是文件粒度改变带来的结果,不能说明原来的小文件方案已经可靠。
我在流水线里增加了一个校验步骤。它先从源桶读取对象清单,把带有20250308发布标记的对象逐个与目标桶比对。这个步骤首次执行耗时4分09秒,第二次执行因为走了本地缓存只用了18秒。缓存文件放在ECS的/var/cache/obs-release/目录,每隔10分钟刷新一次,缓存键使用发布标记和目标桶名。
obsutil ls obs://release-cn-north-4/releases/20250308/ -s > source.list
obsutil ls obs://release-cn-east-3/releases/20250308/ -s > target.list
diff -u source.list target.list
对象数量核对只能证明复制任务的表面结果。我还补了MD5校验,抽样检查了37个对象中的20个,校验文件总大小为6.4GiB,耗时8分26秒。全部抽样文件一致,但小文件没有被逐个读取,这个限制我暂时接受。
我们还把跨区域复制从发布成功条件里拆出来,改成发布后单独运行的同步门禁。脚本会每15秒检查一次任务状态,最长等待20分钟,超过阈值就返回退出码42,并把源桶、目标桶、复制任务ID和RequestId写进发布日志。这样华东回滚不再依赖控制台的人工判断。
源桶所在区域到目标区域的跨区域流量按控制台估算为18.70元,当天费用明细实际为19.26元,多出的部分来自版本信息和重复请求。控制台当时给出的请求单价口径与账单明细不完全一致,我后来按账单反推,约为每万次PUT请求0.42元。
我们把配置模板从前端发布包里拆了出来,不再跟着静态文件做跨区域复制。模板只有42KiB,保留在线拉取即可。下一轮我会继续验证复制任务的延迟分位数,并给流水线增加SSE-KMS密钥区域不匹配的检查,这一部分目前还没有实测数据。
- 点赞
- 收藏
- 关注作者
评论(0)