对象存储冷热分层:用生命周期规则降低日志留存成本
【摘要】 最近整理一批应用日志时,发现对象存储里长期堆着几乎不再读取的历史文件。热存储按量计费,放着不动也会持续产生费用。下面是我这次实际采用的分层思路,供同样把日志和备份放进对象存储的同学参考。 先按访问频率划分前缀近 7 天仍会被排障脚本读取的日志,保留在标准存储。7 到 30 天只在事故复盘时偶尔打开,适合转到低频。超过 30 天基本只为合规留档,可以转到归档,并接受更长的取回时间。安装包、镜像...
最近整理一批应用日志时,发现对象存储里长期堆着几乎不再读取的历史文件。热存储按量计费,放着不动也会持续产生费用。下面是我这次实际采用的分层思路,供同样把日志和备份放进对象存储的同学参考。
先按访问频率划分前缀
近 7 天仍会被排障脚本读取的日志,保留在标准存储。7 到 30 天只在事故复盘时偶尔打开,适合转到低频。超过 30 天基本只为合规留档,可以转到归档,并接受更长的取回时间。安装包、镜像和仍在引用的静态资源不要和日志混在同一前缀下。
用生命周期规则自动转换
按前缀配置规则:logs/app/ 下的对象创建满 7 天转为低频,满 30 天转为归档,满 180 天删除仅用于临时排障的调试包。规则只作用于明确前缀,避免误伤仍在使用的发布产物。转换动作交给平台定时执行,比定期手工搬迁更不容易漏。
上线前用非生产前缀核对
先选一个测试前缀,放几份带日期的小对象,确认转换时间、存储类型和删除动作都符合预期,再扩大到正式日志目录。同时在账单里单独看这个桶不同存储类型的容量,防止规则写错后整桶被提前归档,导致临时下载变慢,并产生额外取回费用。
归档不能代替备份
生命周期解决的是存储单价,不是数据可靠性。跨区域复制或定期导出仍要单独保留。删除动作必须和合规保留期限对齐,不能把审计要求的日志提前清掉。前缀划分和保留天数先写清楚,规则本身可以很短。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)