华为云 OBS 生命周期管理与多版本控制实战:从配置到成本优化
为什么需要生命周期管理
做对象存储的团队常常会遇到一个尴尬局面:桶里的数据越堆越多,账单逐月上涨,但真正被访问的对象可能只占很小一部分。日志、备份、临时文件、历史版本,这些数据在写入后的头几天还有价值,之后就基本处于「躺在那里烧钱」的状态。
OBS 的生命周期管理就是为了解决这个问题:它允许你声明一套规则,让平台自动在合适的时间点把对象转成更便宜的存储类别,或者直接删掉。整套机制由服务端执行,不需要你写定时任务去跑脚本。
与之配套的还有多版本控制。两者单独用都好理解,但组合使用时有不少细节需要注意,下面分别展开。
一、生命周期管理的基本能力
1.1 规则的作用范围
生命周期规则可以作用在整个桶上,也可以只作用于某个前缀下的对象。这一点在实际使用中很重要:同一个桶里往往既有需要长期保留的核心数据,也有可以随时清理的临时产物,用前缀区分是最自然的做法。
需要澄清一个常见的误解:规则并不是「只能按对象名前缀匹配」。除了前缀之外,还可以按对象大小、标签等条件过滤,也可以在桶级别统一配置。如果你看到某份资料说「只支持前缀」,那是不准确的表述。
1.2 动作类型
一条规则可以包含两类动作:
- 转换存储类别:在对象创建后若干天,自动转成低频访问或归档存储
- 过期删除:在对象创建后若干天,或在最后一次修改后若干天,自动删除
两种时间基准的差别值得注意。「创建后天数」是从对象写入时刻算起,之后无论怎么修改都不会重置计时;「最后修改后天数」则会在每次覆盖写入后重新计时。对于频繁更新的对象,用后者更符合直觉。
1.3 执行时机
生命周期规则不是实时触发的。OBS 会在后台按周期扫描并执行,所以规则配置完成后不会立刻看到对象消失,通常要等到次日。做容量规划时要把这个延迟考虑进去,不要指望配完规则当晚账单就降下来。
二、多版本控制与它的副作用
2.1 它解决什么问题
多版本控制的核心价值是防止误删和误覆盖。开启后,每次写入都会生成一个新版本,删除操作只是给对象打一个删除标记,历史版本依然保留。遇到「有人把配置文件传错覆盖了」这类事故,可以立刻回滚到上一个版本。
这个能力在团队协作场景里几乎是必需的。尤其是多个服务共享一个桶时,谁都有可能手滑。
2.2 容易被忽略的成本陷阱
开启多版本控制之后,一个很典型的现象是:你删了很多对象,但存储量没降,账单也没降。原因是删除只产生了删除标记,历史版本全都还在,而且每个版本都按完整大小计费。
这几乎是所有初次使用多版本控制的团队都会踩的坑。解决方案是在生命周期规则里额外配置一条针对历史版本的动作:在最新版本被删除后若干天,清理掉非当前版本。这条规则和多版本控制必须配套使用,只开版本控制不配清理,等于把钱往水里扔。
2.3 版本状态
单个对象的版本可以是已启用、已暂停或处于删除标记状态。暂停版本控制并不会删除已有版本,只是后续写入不再产生新版本号。这一点在排查「为什么还在产生版本」时很有用。
三、常用工具的能力差异
OBS 提供了几种管理方式,它们在功能上有细微差别,选择时值得留意:
| 工具 | 断点续传 | 适用场景 |
|---|---|---|
| 管理控制台 | 不支持 | 临时操作、规则配置、查看监控 |
| OBS Browser | 支持 | Windows 桌面端批量上传下载 |
| obsutil | 支持 | 命令行批量任务、脚本集成 |
| SDK | 支持 | 应用内嵌、程序化访问 |
如果要做大文件传输或者网络不稳定的场景,控制台不是好选择,它不具备断点续传能力,一次中断就得从头再来。这类需求交给 obsutil 或 SDK 更合适。
另外,OBS Browser 目前只支持 Windows 平台,Linux 和 macOS 用户需要转向 obsutil。
四、一套可直接套用的分层配置
下面这套方案适合大多数「有明确冷热分层」的业务场景,可以按需调整天数:
- 标准存储(0-30 天):近期数据,访问频繁,保持默认
- 低频访问(30 天后):一个月没碰的数据,读取频率低但仍需随时可取
- 归档存储(90 天后):季度级备份,接受分钟级取回延迟
- 过期删除(365 天后):超出保留期的数据直接清理
- 历史版本清理(最新版本删除后 30 天):配套多版本控制使用
配置时有两个细节要盯住:一是转换和删除的时间点不要设置成同一天,否则行为不确定;二是规则一旦生效很难「撤回已转档」的对象,转成归档后再读出来是要收费的,规划时留够余量。
五、几个实战中的经验
5.1 先用标签做试点
不要一上来就给整个桶套规则。更稳妥的做法是给一小批对象打标签,用标签过滤配置规则,观察一两周的实际效果和账单变化,确认无误后再扩大到全桶。OBS 支持按标签匹配对象,这个能力用于灰度非常方便。
5.2 删除桶之前必须先清空
这一点在清理测试资源时经常出错。桶非空时不允许删除,正确顺序是先删桶内的对象(或文件夹),再删桶。如果桶开启了多版本控制,还要把历史版本一并清理掉,否则看着是空的,删桶依然报错。
5.3 规则冲突的处理
同一个桶上配置多条规则时,如果作用范围有重叠,平台会取并集执行。也就是说,任何一条规则命中了某个对象,该动作就会生效。为了避免意外删除,建议规则设计时让前缀互不重叠,或者在命名上做好区分。
六、小结
生命周期管理的本质是把「数据该留多久、该放哪一层」这件事从人工判断变成平台自动执行。它的价值不在于省下多少配置时间,而在于避免因为「没人记得清理」而长期多付的钱。
多版本控制则是另一面的保障:它防止数据丢失,但如果不配套清理规则,代价会持续累积。两者应当视为一组配套能力,一起设计、一起上线。
最后提醒一句:任何自动删除类的规则,上线前务必在测试桶里跑通完整流程,确认真实删除的对象范围符合预期,再动生产环境。
- 点赞
- 收藏
- 关注作者
评论(0)