华为云 OBS 跨区域复制与生命周期治理:冷热分层、成本可控的存储实践
引言:对象存储用久了,真正的账单在“放着不动的数据”里
一个对象存储(OBS)桶刚建好时,大家关心的往往是上传能不能通、下载快不快、权限会不会越权。等业务跑上一年、两年,问题就变了:桶里躺着几十 TB 的历史图片、日志、备份和安装包,没人再读,却每个月都在产生存储费;另一边,真正需要异地容灾的核心数据,却因为“还没出过事”一直没有跨区域副本。
这篇文章要解决的,就是对象存储进入“存量运营”阶段后的两个核心问题:第一,数据丢了怎么办——用跨区域复制把容灾做实;第二,数据越存越贵怎么办——用生命周期规则把冷热分层做细。两个动作都不依赖改业务代码,全部可以在桶级配置里完成,适合已经有存量桶、想先把治理做起来的团队。
本文的示例基于华为云 OBS,桶名、区域、策略名均为示例,请按自己的账号与合规要求替换。文中出现的费用数字为示例测算口径,用于说明分层前后的量级差异,实际价格以官网定价为准。
一、为什么跨区域复制和生命周期要一起做
很多团队把“备份”和“省钱”当成两件不相干的事:备份归运维,省钱归财务。实际上在对象存储里,它们是同一批数据的两个侧面。
先看一个典型桶的构成。以一个中型业务的 OBS 桶为例,假设总量 10 TB,大致分布如下:
| 数据类型 | 占比 | 最近 30 天是否被读 | 应该去哪 |
|---|---|---|---|
| 用户上传的原图、视频 | 45% | 部分被读 | 标准存储,热数据保留 |
| 业务日志、审计日志 | 25% | 几乎不读 | 低频访问,30 天后沉降 |
| 历史版本、已下线功能产物 | 20% | 从不读 | 归档,90 天后沉降 |
| 数据库备份、应用备份 | 10% | 仅恢复时读 | 跨区域复制 + 归档 |
这张表说明两件事:第一,不是所有数据都值得用标准存储的单价一直存着;第二,不是所有数据都值得复制到另一个区域。把“值得复制的”和“值得沉降的”分开,是治理的第一步。分不清,就会出现两种浪费:该复制的没复制,出了事才发现单区域是一颗定时炸弹;不该用标准存储存的却一直在付高价。
做治理之前,建议先回答三个问题,并把答案写进团队的存储治理文档里:
- 哪些桶、哪些前缀是核心数据,丢失或不可用的业务影响是什么?
- 哪些数据有合规保留期限,哪些到期就可以删除?
- 每个月的存储账单里,标准存储、低频访问、归档各占多少,趋势是涨还是跌?
这三个答案,就是后面所有规则的依据。没有它们,生命周期规则很容易写成“凭感觉沉降”,复制规则也容易写成“全桶复制”,最后要么省不下钱,要么复制了一堆垃圾数据。
二、先弄清 OBS 的存储分层:四种类型怎么选
OBS 的存储类型按访问频率和取回成本划分,核心是四档:标准存储、低频访问存储、归档存储、深度归档存储。它们的取回时间、最低存储时长和单价梯度各不相同,选错一档,成本和体验都会跑偏。
- 标准存储:毫秒级访问,适合高频读写的热数据,如用户头像、正在售卖的商品图、在线服务的静态资源。
- 低频访问存储:毫秒级访问,但有最低存储时长要求,适合访问频率低、但偶尔需要立即读取的数据,如月度报表、季度归档的业务文件。
- 归档存储:取回需要分钟到小时级,适合长期保存、极少读取的数据,如合规留存的审计记录、历史备份。
- 深度归档存储:取回时间最长,单价最低,适合明确“基本不会再读、只为合规留存”的数据。
选型时不要只看单价,要把“取回成本”和“最低存储时长”一起算。举一个常见的反模式:把 30 天后还要被批量读取一次的月度报表直接沉降到深度归档,结果取回时要等很久,还要付取回费用,省下的存储费全搭进去了。正确的做法是按访问节奏选档:
- 每天、每周都会读:标准存储。
- 每月读一两次、能接受毫秒级取回:低频访问。
- 每季度读一次、能接受小时级取回:归档。
- 一年读不了一次、只为留存:深度归档。
另外注意,存储类型可以在对象级和桶级分别设置,生命周期规则也可以按前缀精细化。比如同一个桶里,images/hot/ 保持标准存储,logs/ 30 天后转低频访问,backup/ 直接进归档并跨区域复制。按前缀分层,是本文后面所有配置的基础。
三、跨区域复制:先把“丢不起的数据”送到另一个区域
3.1 复制之前必须满足的三个前置条件
跨区域复制不是点一个开关就完事,OBS 的复制规则有三个硬性前置条件,缺一个都会导致规则配完却不生效:
- 源桶和目标桶都必须开启多版本控制。复制依赖版本 ID 来保证“新版本覆盖旧版本、删除产生删除标记”的语义,没有版本控制,复制规则无法创建。
- 源桶和目标桶在不同区域。同区域复制没有意义,跨区域复制的价值就在于区域级故障隔离。
- 操作账号对两个桶都有足够权限,并且目标桶的桶策略允许源桶的复制服务写入。如果目标桶是另一个账号的,还需要跨账号授权。
建议的顺序是:先在目标区域建好空桶并开启多版本,再在源桶开启多版本,最后创建复制规则。顺序反了也没关系,但要做好“规则创建后,已存在的对象默认不会被复制”的心理准备——这是最常见的误解,见 3.4 节。
3.2 控制台配置步骤
- 进入 OBS 控制台,打开源桶,在左侧导航选择“多版本控制”,开启。
- 在目标区域新建目标桶,同样开启多版本控制,存储类型建议与源桶保持一致,至少不低于源桶的级别。
- 回到源桶,选择“跨区域复制”,点击“创建规则”:
- 目标桶:选择目标区域的目标桶。
- 复制范围:不要一上来就选“整个桶”,先按前缀选核心数据,例如
backup/、data/core/。 - 存储类型:选择“与源对象保持一致”或明确指定。
- 是否复制历史版本:按需开启,开启后会把历史版本也复制过去,费用和耗时都会上升。
- 保存规则后,用一个新对象做验证:上传一个测试文件,等待几分钟,到目标桶确认同名对象和版本都已出现,再删除测试文件并确认删除标记也被同步。
验证这一步不要省。很多团队配完规则就以为万事大吉,半年后真要恢复时才发现目标桶是空的——因为规则配的是 backup/,而实际备份脚本写的是 backups/,一字之差,复制范围就错过了。
3.3 用 obsutil 做批量检查与补传
控制台适合配规则,批量核对更适合用命令行。obsutil 是 OBS 的命令行工具,先配置好 AK/SK(建议用临时 AK/SK 或 IAM 委托,不要把长期 AK 写进脚本),再做核对:
# 配置 obsutil(示例,endpoint 按区域替换)
obsutil config -i <AK> -k <SK> -e https://obs.cn-north-4.myhuaweicloud.com
# 列出源桶 backup/ 前缀下的对象,确认待复制范围
obsutil ls obs://my-app-backup/backup/ -s
# 列出目标桶同一前缀,逐项核对
obsutil ls obs://my-app-backup-dr/backup/ -s
# 对规则创建前已存在的关键对象,做一次手动补传(复制规则不回溯历史对象)
obsutil cp obs://my-app-backup/backup/db-20261113.sql.gz obs://my-app-backup-dr/backup/ -f
补传时注意两点:第一,手动复制的对象会产生新的版本和上传时间,生命周期规则是按对象创建时间算的,补传会“刷新”对象的年龄,沉降时间要相应留意;第二,大文件建议用分段上传或 obsutil cp 的断点续传能力,避免中途断网后从头再传。
3.4 五个最容易踩的坑
- 坑一:以为复制会回溯历史对象。默认只复制规则创建后新写入或新版本的对象。历史对象需要手动补传,或者用批量复制工具跑一遍。
- 坑二:删除操作没有同步预期。删除一个对象版本会在目标桶产生删除标记,但直接删除某个历史版本的操作默认不同步,恢复时要先搞清楚“删的是当前版本还是指定版本”。
- 坑三:目标桶开了生命周期,副本被提前删了。源桶和目标桶的生命周期规则是各自独立的,目标桶如果配了更激进的过期规则,副本可能比源对象先消失。两边的规则要一起评审。
- 坑四:KMS 加密对象复制失败。源对象用 KMS 密钥加密时,目标区域需要有对应的密钥和授权,否则复制会失败。先在小范围验证加密对象的复制,再全量铺开。
- 坑五:复制流量和请求费没进预算。跨区域复制会产生跨区域流量和额外的 PUT 请求,量大时是一笔不小的费用。先按 3.2 节的验证方法小规模跑一周,看账单里的复制流量再决定全量范围。
四、生命周期规则:让数据自己“往下沉”,而不是靠人定期清理
4.1 一条规则由哪几部分组成
生命周期规则的核心是“条件 + 动作”。条件通常是对象年龄(创建后多少天)或指定日期;动作包括转换存储类型、过期删除、清理不完整分段上传、清理历史版本。设计规则时,先按前缀画一张表,再一条一条落到控制台或配置里:
| 前缀 | 30 天后 | 90 天后 | 180 天后 | 365 天后 |
|---|---|---|---|---|
logs/ |
转低频访问 | 转归档 | — | 删除 |
backup/ |
— | 转归档 | 转深度归档 | 保留,按合规期删除 |
images/history/ |
转低频访问 | 转归档 | 转深度归档 | — |
tmp/、upload-temp/ |
清理不完整分段上传(7 天) | — | — | 删除 |
这张表的关键是“先分前缀、再定天数”,而不是先定一个全局天数套到全桶。日志和备份的保留诉求完全不同,用同一条规则管全桶,一定会在某一类数据上出错。
4.2 生命周期配置示例
OBS 控制台支持在桶的“生命周期”里按图形界面配置,也支持用 API 或 SDK 提交规则。下面是一个等价的规则示例(JSON 形式为示意结构,实际提交时请按所用 SDK 或 API 的字段要求调整):
{
"Rules": [
{
"ID": "logs-to-infrequent-then-archive",
"Prefix": "logs/",
"Status": "Enabled",
"Transitions": [
{ "Days": 30, "StorageClass": "WARM" },
{ "Days": 90, "StorageClass": "COLD" }
],
"Expiration": { "Days": 365 },
"AbortIncompleteMultipartUpload": { "DaysAfterInitiation": 7 }
},
{
"ID": "backup-to-archive",
"Prefix": "backup/",
"Status": "Enabled",
"Transitions": [
{ "Days": 90, "StorageClass": "COLD" },
{ "Days": 180, "StorageClass": "DEEP_ARCHIVE" }
]
}
]
}
配置时要特别注意三个细节:
- 最低存储时长。低频访问、归档、深度归档都有最低存储时长要求,对象在沉降后如果很快被删除,可能会按最低时长计费。沉降天数不要设得太激进,要留出“可能被再次读取”的缓冲。
- 不完整分段上传是大头。大文件分段上传失败后,未完成的分段会一直占空间。
tmp/和上传临时目录一定要配“7 天清理不完整分段上传”,这条规则经常比沉降规则省的钱还多。 - 版本过期要和多版本控制一起看。开启多版本后,每次覆盖都会留下一个历史版本,历史版本不清理,桶会越长越大。给历史版本单独设一条“90 天后过期历史版本”的规则,和当前版本规则分开写。
4.3 先在测试桶跑一轮,再上生产桶
生命周期规则一旦生效,对象会按天自动沉降或删除,配错了很难挽回。建议的上线顺序是:
- 在测试桶里用少量对象配好规则,等 1-2 天观察沉降是否按预期发生。
- 在生产桶先只对
logs/这类低风险前缀生效,跑一周,看账单和访问日志有没有异常。 - 确认无误后,再把
backup/、images/history/等前缀逐步接进来。 - 每次改规则都记录变更:谁改的、改了哪条前缀、天数从多少改到多少。规则变更本身就是一次运维操作,要留痕。
五、成本测算:分层前后,10 TB 桶能差多少
用第一节那张 10 TB 构成表做一次示例测算。假设标准存储示例单价为 1 个单位,低频访问为 0.4,归档为 0.15,深度归档为 0.05(仅为说明梯度的相对值,不是官网报价):
- 分层前:10 TB 全部按标准存储,月费用 = 10 × 1 = 10 个单位。
- 分层后:4.5 TB 标准存储 + 2.5 TB 低频访问 + 2 TB 归档 + 1 TB 深度归档,月费用 = 4.5 × 1 + 2.5 × 0.4 + 2 × 0.15 + 1 × 0.05 = 5.85 个单位。
同样 10 TB,分层后示例费用下降约 40%。实际比例取决于各档的真实单价和取回次数,但方向是确定的:冷数据越早沉降,省得越多。反过来,如果冷数据长期不沉降,相当于每个月都在为“再也不会读的数据”付标准存储的钱。
核对账单时建议按月做三件事:第一,对比上月各存储类型的用量和费用,看沉降是否生效;第二,单独看复制流量和请求费,确认复制范围没有失控;第三,把“本月新增对象量”和“本月沉降量”放在一起看,如果新增远大于沉降,说明分层规则覆盖的前缀还不够全,需要补规则而不是等下个月。
六、验证与日常运维:复制和生命周期都要“能证明它在工作”
治理类配置最怕“配完就忘”。建议把下面四项做成每月一次的例行检查,写进值班手册:
- 复制验证:每月上传一个带时间戳的测试对象到核心前缀,确认目标桶在 10 分钟内出现同名对象,再删除测试对象并确认删除标记同步。
- 沉降验证:每月抽查 5 个已知超过 30 天的对象,确认存储类型已按规则沉降;抽查 3 个超过保留期的对象,确认已被删除或已进归档。
- 账单核对:按第五节的方法核对存储、请求、流量三项费用,异常波动超过 20% 就要查原因,而不是等季度复盘。
- 演练:每季度做一次恢复演练——从目标桶取回一份备份,在测试环境恢复,验证备份是真的能用。只复制、不演练的容灾,等于没做容灾。
运维上还可以借助云审计(CloudTrace Service)记录桶策略、生命周期和复制规则的变更,谁在什么时候改了规则,都能查到。把这条审计日志接到告警里,规则被误删或改错时能第一时间发现。
七、常见故障速查表
| 现象 | 先查什么 | 常见原因 |
|---|---|---|
| 复制规则配完,目标桶一直没对象 | 规则的复制范围前缀、源桶多版本是否开启 | 前缀写错、历史对象不回溯 |
| 复制报 403 | 目标桶策略、跨账号授权、KMS 密钥授权 | 目标桶不允许复制服务写入 |
| 生命周期配完,对象一直不沉降 | 规则状态是否启用、前缀是否匹配、对象年龄 | 规则是草稿未启用,或前缀多了个斜杠 |
| 账单突然变高 | 复制流量、取回请求、最低存储时长计费 | 大批量取回归档数据,或沉降后短期内删除 |
| 桶越用越大 | 历史版本、不完整分段上传 | 多版本历史未配过期规则,分段上传残留 |
总结:先分清,再复制,最后沉降
对象存储的治理没有银弹,只有一条朴素的顺序:先按前缀和访问频率把数据分清,哪些要复制、哪些要沉降、哪些到期就删;再把跨区域复制做实,用测试对象和定期演练证明它真的在工作;最后用生命周期规则让冷数据自动往下沉,并按月核对账单,让省钱的效果看得见。
如果你今天只能做一件事,先做这件:打开最大的那个桶,按前缀列一张“最近 30 天有没有被读”的表。写完这张表,复制规则该配哪个前缀、生命周期该沉降哪个前缀,答案就已经出来一半了。剩下的,就是按本文的顺序一条一条落地,并在下个月的账单里验证它。
落地检查清单
- [ ] 核心前缀已列出,复制范围已按前缀收窄到核心数据
- [ ] 源桶与目标桶均已开启多版本控制,复制规则已用测试对象验证
- [ ] 生命周期规则已按前缀分开配置,历史版本与不完整分段上传已有清理规则
- [ ] 目标桶的生命周期规则已与源桶一起评审,不会提前删除副本
- [ ] 本月账单已核对存储、请求、流量三项,复制流量在预算内
- [ ] 下一次恢复演练的时间已排期
- 点赞
- 收藏
- 关注作者
评论(0)