OBS 对象盘点脚本,分页游标也需要验收
【摘要】 当桶内对象数量超过单次返回范围时,只处理第一页会遗漏数据。遗漏可能暂时不明显,却会影响备份清单、容量统计和重复对象判断。
当桶内对象数量超过单次返回范围时,只处理第一页会遗漏数据。遗漏可能暂时不明显,却会影响备份清单、容量统计和重复对象判断。对象盘点工具应该能够证明自己已经读到了结束条件。
## 使用接口定义的下一页标识
华为云官方 SDK 示例使用列举响应中的截断标记与后续游标组织分页。实现时应以所用 SDK 的字段和版本为准,不要混用另一套兼容接口的命名。游标值作为不透明数据传回相应接口,不应自行拼接成 Shell 命令。
## 检查异常结束
若同一个游标重复出现,或响应结构无法解析,应停止并报告盘点未完成。把异常页当成空页,会让最终数量看起来合理,却丢掉尾部对象。报告可以记录页数、已读数量和完整性标记,避免把部分清单用于后续清理。
测试数据应覆盖空桶、正好一页、超过一页和中途异常。先用无价值测试对象验证,再对真实桶进行只读盘点。只有完整性得到确认,后续的差异分析才有可靠基础。
参考:[华为云 OBS Python SDK 官方列举示例](https://github.com/huaweicloud/huaweicloud-sdk-python-obs/blob/master/examples/list_objects_sample.py)。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)