华为云 OBS 大文件分段上传：并发、重试与完整性校验实践

上传数 GB 甚至更大的文件时，单个 HTTP 请求会放大网络抖动的影响：传输中断可能导致整次上传失败，客户端也难以从断点继续。华为云对象存储服务 OBS 支持分段上传，将对象拆成多个分片分别传输，最后再合并为完整对象。合理使用分段上传，能够缩小失败重传范围，并在带宽和服务端能力允许时提升吞吐。

先规划分片，再设置并发

分片大小不是越小越好。分片过小会增加请求数量、签名和调度开销；分片过大则会增加单次重试的传输成本。实际项目可从 8 MiB 至 64 MiB 的分片范围开始测试，并根据文件大小、客户端内存、网络带宽和请求耗时进行调整。分片除最后一片外通常需要满足对象存储协议规定的最小尺寸，实施前应核对所用 OBS API 或 SDK 的约束。

并发数也应通过压测确定。单客户端并发太高可能挤占业务网络、触发限流或造成内存压力。可以采用“分片大小 × 并发数”估算客户端在途数据规模，再结合连接池和带宽上限设定并发。生产环境应使用具备断点续传能力的 SDK 或可靠的任务管理逻辑，避免进程退出后丢失上传进度。

失败重试与任务清理

上传任务通常包含初始化、上传分片、合并三个阶段。客户端应持久化上传任务标识以及分片编号和 ETag 等必要信息，在临时网络故障时只重传失败分片。重试应采用有上限的指数退避并加入随机抖动，避免大量客户端同时恢复时形成请求风暴。对于确定无法继续的任务，需要主动取消未完成的分段上传；同时可配置 OBS 生命周期规则清理长期未完成的分段，控制存储费用。

下面的示例展示使用 boto3 的 S3 兼容接口向 OBS 发起分段上传。请将 endpoint_url、桶名、对象名及凭证替换为实际配置。示例仅用于说明关键流程；生产代码还应补充凭证安全管理、超时设置、错误分类、日志记录和断点续传状态持久化。

Python 分段上传示例

import boto3
from boto3.s3.transfer import TransferConfig

client = boto3.client(
    "s3",
    endpoint_url="https://your-obs-endpoint",
    aws_access_key_id="YOUR_AK",
    aws_secret_access_key="YOUR_SK",
    region_name="your-region"
)

config = TransferConfig(
    multipart_threshold=8 * 1024 * 1024,
    multipart_chunksize=16 * 1024 * 1024,
    max_concurrency=4,
    use_threads=True
)

client.upload_file(
    Filename="./archive.bin",
    Bucket="your-bucket",
    Key="backup/archive.bin",
    Config=config
)

上线前验证清单

上线前应使用具有代表性的文件和网络条件进行压测，观察总耗时、失败率、客户端 CPU、内存和网络吞吐，并分别验证小文件与大文件路径。确认桶和对象的访问策略符合最小权限原则，AK/SK 不写入代码仓库，传输使用 HTTPS。若业务要求端到端校验，可在上传前计算文件摘要，并在上传后通过读取对象或业务侧校验流程核对内容；不要将 ETag 一概当作文件 MD5，因为分段上传生成的 ETag 通常不能简单等同于整文件 MD5。

分段上传的收益来自合理切分与可恢复的任务管理，而不是单纯增加并发。先保证正确性和清理机制，再依据实测调节分片大小、并发度与重试策略，才能在上传速度、资源占用和运行成本之间取得平衡。