基于华为云 OBS 的大文件分段上传优化：并发、重试与断点续传实践

上传数百 MB 甚至数 GB 的文件时，一次性传输往往难以应对网络抖动：传输中断后可能需要从头开始，单个请求也更容易触发超时。华为云对象存储服务 OBS 支持分段上传，将对象拆成多个部分分别传输，最后再合并为完整对象。结合并发控制、可重试设计和进度持久化，分段上传可以显著改善大文件场景的稳定性。

一、先确定分段上传策略

分段大小并非越大越好。分片过小会增加请求数量、签名计算和服务端管理开销；分片过大则会扩大失败重传的数据量，并占用更多客户端内存。工程上可以先从 16 MiB 到 64 MiB 的分片范围开始压测，再根据文件大小、网络带宽和客户端资源调整。具体分片限制与接口要求应以当前 OBS 文档为准。

并发数决定同时进行的分片请求数量。提高并发能够更充分利用带宽，但也会增加网络连接、内存及服务端请求压力。不要直接将并发设置为最大值，建议从 3 到 5 个并发任务开始，观察上传耗时、失败率、客户端内存和网络利用率，再逐步调整。移动网络或共享带宽环境通常应采用更保守的参数。

二、建立可恢复的上传流程

一次完整的流程通常包括初始化分段上传、上传各分片、收集每个分片的标识信息，以及提交完成请求。上传前为任务生成稳定的业务标识，并记录上传任务标识、对象名、分片编号、分片大小和已成功分片的校验信息。进程重启后，可据此判断哪些分片需要重新上传，而不是重新发送整个文件。

重试应针对单个失败分片，而非无条件重启整个任务。网络超时、临时连接失败等可重试错误可以采用指数退避，并设置最大尝试次数；鉴权失败、参数错误等问题则应尽快返回，避免无效重试。提交完成请求前，必须确认所有预期分片均已成功，并按照接口要求组织分片编号及对应标识。

三、配置示例与关键实现点

下面是应用侧的参数示例，不是 OBS 服务端配置项。实际接入时，应使用华为云 OBS SDK 提供的分段上传接口，并以所用 SDK 版本的 API 文档为准。生产环境中不要把长期访问凭证写入配置文件，应通过安全的凭证管理方式获取，并按最小权限原则授权。

upload:
  part-size-mib: 32
  max-concurrency: 4
  max-retries: 4
  retry-base-delay-ms: 300
  connect-timeout-ms: 5000
  socket-timeout-ms: 60000
  checkpoint-dir: /var/lib/app/obs-checkpoints

# 流程示意
initiateMultipartUpload(objectKey)
for each part in file:
    uploadPartWithRetry(uploadId, partNumber, partBytes)
persistCheckpoint(uploadId, partNumber, partETag)
completeMultipartUpload(uploadId, orderedPartETags)

分片读取也要关注内存占用。若每个并发任务都一次性加载一个完整分片，理论上的缓冲区需求会随“分片大小乘以并发数”增长，还未计入 SDK 缓冲和应用其他对象。可以使用流式读取，并限制工作线程数量，避免上传高峰导致堆内存压力或垃圾回收频繁。

四、校验、清理与可观测性

上传完成后，应通过对象元数据、文件大小或业务侧校验值确认结果符合预期。不要将 ETag 一概当作文件 MD5：分段上传场景下，它可能具有不同的语义，具体应遵循 OBS 接口说明。若任务永久失败或用户取消上传，应清理未完成的分段任务；同时设置定期清理机制，降低遗留分片持续占用存储资源的风险。

监控指标至少应覆盖上传总耗时、有效吞吐、分片失败率、重试次数、任务恢复次数和未完成任务数量。将这些指标按文件大小、网络类型和客户端版本分组，能帮助区分是参数设置不合适、客户端网络不稳定，还是服务端请求异常。上线前建议用不同大小的文件进行弱网、中断恢复和高并发测试，并确认取消、超时及进程重启等边界行为。

总结

OBS 大文件上传优化的重点，不只是增加并发，而是在分片大小、并发度、重试成本与客户端资源之间取得平衡。通过持久化任务进度、只重传失败分片、校验上传结果并及时清理未完成任务，可以让上传流程更可恢复、更易观测。建议结合实际网络环境压测参数，并持续根据生产指标迭代配置。