华为云 OBS 大文件分段上传优化：并发控制、断点续传与完整性校验

大文件上传看似只是把本地文件发送到对象存储，实际却要面对链路抖动、请求超时、进程中断以及重复传输等问题。华为云 OBS 的分段上传可以将对象拆分为多个 Part，分别上传后再合并；单个分段失败时只需重传该分段，因此更适合大文件、弱网络和需要可靠续传的业务场景。

先确定分段大小与并发度

分段大小不是越小越好：分段太小会增加请求数量和管理开销，太大则会放大失败重传的成本。可以根据文件大小和网络情况设置分段大小，例如从 16 MiB 或 32 MiB 起步，再通过压测调整。并发度也应受到约束，过多并行请求可能占满客户端带宽、连接池或服务端资源。生产环境建议同时限制工作线程数和待处理任务队列，而不是无上限地提交分段任务。

可靠上传的基本流程

典型流程包括初始化分段上传、上传各分段、收集每个分段返回的 ETag，最后按分段编号排序并提交合并。初始化成功后应持久化上传任务标识、对象键、文件大小及分段清单；分段成功后及时记录编号和 ETag。应用重启时，可据此检查已完成分段并继续上传未完成部分，避免从头传输。若任务最终放弃，应调用取消分段上传操作清理未完成任务，避免长期占用存储空间。

控制重试，避免故障放大

重试应针对网络超时、连接重置等暂时性错误，并使用指数退避和随机抖动。例如等待时间可逐步增加，同时设置最大重试次数与总任务超时。遇到鉴权失败、参数错误等确定性问题，应尽快终止并报告，避免无效重试。重试同一分段时，要保持上传任务标识和分段编号一致，并以最新成功响应中的 ETag 更新本地记录。

示例：分段任务调度伪代码

uploadId = initiateMultipartUpload(bucket, objectKey)
parts = splitFile(filePath, partSize)
results = parallelMap(parts, concurrencyLimit, part => {
  return retryWithBackoff(maxRetries, () => {
    return uploadPart(
      bucket, objectKey, uploadId,
      part.number, part.bytes
    )
  })
})

orderedParts = sortByPartNumber(results)
completeMultipartUpload(bucket, objectKey, uploadId, orderedParts)

以上代码展示的是流程示意，实际接入时应使用华为云 OBS SDK 提供的分段上传接口，并遵循所用 SDK 版本的参数类型和异常处理约定。生产实现还应将任务状态持久化到数据库或可靠队列，并保证完成合并操作具备幂等保护。

校验、观测与上线建议

上传完成后，不要只凭客户端返回成功就认定文件可用。可结合对象元数据、对象长度及业务侧校验和验证结果；需要端到端校验时，应在上传前计算文件摘要，并在业务流程中保存和核对。监控方面建议记录总耗时、吞吐量、分段重试次数、失败率和任务积压量，并区分客户端网络错误与服务端响应错误。先以小比例流量验证分段大小和并发配置，再逐步扩大范围，能够更稳妥地兼顾上传速度、资源消耗与任务成功率。