OBS版本备份的生命周期误删记录

举报
yd_292017662 发表于 2026/11/10 11:00:42 2026/11/10
【摘要】 我为OBS备份桶补上生命周期和版本控制后,旧版本仍被永久保留,存储费用从每月18元涨到73元。调整规则并恢复误删对象后,我把保护策略、预算告警和验证流程重新整理了一遍。

我们的小组只有6个人,做的业务却要保留两年的操作附件。最初我直接把这些文件上传到OBS桶里,开桶时只有一条规则:上传180天后转入归档存储。这个方案看起来省事,后来还是被版本控制和生命周期规则联手教育了一次。

原始配置和费用变化

测试环境使用华北-北京四,OBS桶版本是3.2.0,SDK用的是huaweicloud-sdk-python-v3 3.22.6。业务侧通过OBS控制台生成预签名URL上传,文件以“env/business/date/uuid.ext”分目录。2024年11月测得月均上传量是860GB,归档对象占620GB,控制台账单只有18.60元。

hwcloud obs version
OBS 3.2.0
Python SDK 3.22.6

Region: cn-north-4
Average upload: 860 GB/month
Archive object: 620 GB/month
Cost: 18.60 CNY/month

2025年1月,安全要求变更,业务开始给每次上传启用版本控制。开发、测试和生产三个桶都打开了“版本号”,生命周期规则却没改。一个月后账单升到73.40元,多出来的54.80元几乎全是历史版本继续占标准存储和归档存储产生的。

我看到费用曲线时还怀疑过请求流量,导出一周明细后才发现,日均GET只有2300次,流量费用只有0.14元。版本副本才是问题。每个附件平均1.8MB,到月底约有52万条新对象,开启版本控制后,控制台显示对象数直接翻到104万。

规则叠加后的实际行为

OBS的生命周期规则不是简单判断“文件年龄”,对象当前版本和历史非当前版本可以分别配置动作。我原来的XML只写了归档转换,没有过期动作,也没有区分current和noncurrent。

<LifecycleConfiguration>
  <Rule>
    <ID>archive-old-files</ID>
    <Prefix>env/</Prefix>
    <Status>Enabled</Status>
    <Transition>
      <Days>180</Days>
      <StorageClass>GLACIER</StorageClass>
    </Transition>
  </Rule>
</LifecycleConfiguration>

问题是这条规则只让对象在180天后转成GLACIER,没有告诉OBS何时删除历史版本。对象被覆盖一次,就多出一个非当前版本;旧版本也经历180天转换,但会一直留在桶里。

更麻烦的是桶启用了版本控制后,删除文件不会立即移除数据,而是生成一个删除标记。我用一个只有DeleteObject权限的测试账号删除2024年11月的demo.pdf,控制台里文件立刻消失,桶用量却只下降了0.2MB。

当时我盯着用量图看了半天,才反应过来版本桶里的删除不是物理删除。这个认知成本比一次误操作更高,因为它会让人误以为存储统计坏了。

我改了什么

我没有直接清空历史版本,而是先下载对象清单,检查生产库里有没有仍引用旧版本URL的记录。生产系统保存的是attachment_id,不依赖具体OBS版本号,这一点救了返工时间。测试库有一张附件历史表保存了19条带versionId的URL,我用脚本把它们改成不带版本号的当前版本链接。

aws s3api list-object-versions \
  --bucket obs-prod-attachment \
  --prefix env/ \
  --query 'Versions[?IsLatest==`false`]' \
  --output json > old-versions.json

python update_versions.py old-versions.json \
  --endpoint obs.cn-north-4.myhuaweicloud.com \
  --dry-run

脚本共识别出487,316个非当前版本和612个删除标记。真正允许批量删除的是2024年11月30日以前产生、且业务表没有引用的版本。我把生命周期改成当前版本归档365天后删除,非当前版本在90天后转GLACIER,再过120天删除。规则落地前用DryRun跑了一遍,控制台返回待处理对象486,904个。

<Rule>
  <ID>retention-policy</ID>
  <Prefix>env/</Prefix>
  <Status>Enabled</Status>
  <CurrentVersionExpiration>
    <Days>365</Days>
  </CurrentVersionExpiration>
  <NoncurrentVersionTransition>
    <Days>90</Days>
    <StorageClass>GLACIER</StorageClass>
  </NoncurrentVersionTransition>
  <NoncurrentVersionExpiration>
    <Days>210</Days>
  </NoncurrentVersionExpiration>
</Rule>

规则生效用了3天,DAY的评估周期内没有立即删除全部对象。2025年2月24日重新导出账单,OBS存储费用降到31.20元,比调整前少42.20元,仍高于最初18.60元,因为大部分历史对象已经进入归档,而且恢复和请求费用开始出现。

删错版本后的恢复

清理到第三天,我自己的脚本把一个生产目录也算进了可删除范围。obs-prod-attachment/env/billing/2024/11/receipt-8821.pdf被误删,业务打开凭证时收到403。

ObsException: [AccessForbidden]
status code: 403
request id: 6c71d9a4c1e84f0b9d02
error code: AccessForbidden
message: Access denied.

这次报错没有直接指向版本删除,因为桶策略允许当前身份读取对象。我从操作日志里查到DeleteObject请求,又用list-object-versions确认它生成了删除标记。对象的旧版本还在,versionId为ZXZhMTAyMjM0NTY3ODkwMTIzNDU2Nzg5MA==,恢复时需要显式带上这个ID。

aws s3api restore-object \
  --bucket obs-prod-attachment \
  --key env/billing/2024/11/receipt-8821.pdf \
  --version-id ZXZhMTAyMjM0NTY3ODkwMTIzNDU2Nzg5MA== \
  --restore-request '{"Days":7,"GlacierJobParameters":{"Tier":"Standard"}}'

aws s3api get-object \
  --bucket obs-prod-attachment \
  --key env/billing/2024/11/receipt-8821.pdf \
  --version-id ZXZhMTAyMjM0NTY3ODkwMTIzNDU2Nzg5MA== \
  restored-copy.pdf

文件在归档层,恢复耗时17分42秒,下载得到的SHA-256与业务侧留存的摘要一致。补完文件后,我又复制了一份不带versionId的新对象,避免当前版本仍被删除标记遮住。

现在留下的防护

我把IAM策略拆成上传、列举和删除三份。生产应用只有PutObject和GetObject权限,运维账号才有DeleteObjectVersion权限,Terraform中的OBS生命周期规则也要求变更单号。这个限制无法完全防住持删除权限的人,但能把应用误删和人工清理分开。

预算方面,我在CES里设置了两条告警:OBS日存储费用超过35元持续30分钟通知值班群,月度请求费用超过5元走邮件。阈值不是照抄建议值,而是根据31.20元月费和测试环境11.80元月费定的。第一条规则上线当天就因归档取回费用报了两次,我现在把取回量和删除量拆开处理。

每周一凌晨2点会运行一次版本清单检查,输出对象数、非当前版本数、删除标记数和预计到期数量。脚本当前只覆盖华北-北京四,其他区域仍是人工检查,这部分还没补齐。下一篇我准备把清单检查接到CodeArts流水线里,再用小桶验证规则变更,避免再靠生产桶试参数。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。