华为云 OBS 大文件分段上传实践：并发控制、断点续传与失败恢复

在日志归档、媒体处理和数据备份等场景中，大文件上传往往需要持续数分钟甚至更久。若使用单次 PUT 上传，网络短暂中断就可能导致整次请求失败；客户端内存、连接超时和重试成本也会随文件增大而变得突出。华为云对象存储服务 OBS 提供分段上传能力，可将一个对象拆成多个 Part 分别上传，再按顺序合并为完整对象。

一、理解分段上传的关键机制

典型流程包括初始化上传任务、上传各个分段、完成上传三个阶段。初始化后，OBS 返回唯一的 uploadId；上传每个分段时，需要提交 uploadId 和分段编号，并保存服务端返回的 ETag；全部分段成功后，按分段编号提交 ETag 列表完成合并。若任务放弃，应主动中止上传，否则未完成的分段会继续占用存储空间。实施前应核对当前 OBS 服务及 SDK 文档中的对象大小、分段大小和分段数量限制。

分段大小需要结合文件规模和网络状况确定。分段过小会增加请求数量、调度和合并开销；分段过大则会提高单次失败后的重传成本。并发也并非越高越好：线程数过多可能挤占业务带宽、触发连接池瓶颈，建议通过压测逐步调整，并为上传任务设置并发上限。

二、Java SDK 分段上传示例

下面示例展示核心调用关系。生产代码应根据所使用的 OBS Java SDK 版本核对请求对象和方法签名，并妥善管理客户端生命周期。示例省略了分段读取与线程池调度，实际实现中应避免一次性把整个文件读入内存。

// 核心流程示意：初始化、上传分段、完成上传
InitiateMultipartUploadRequest init =
    new InitiateMultipartUploadRequest(bucketName, objectKey);
InitiateMultipartUploadResult initResult = obsClient.initiateMultipartUpload(init);
String uploadId = initResult.getUploadId();

List<PartEtag> partEtags = new ArrayList<>();
for (int partNumber = 1; partNumber <= partCount; partNumber++) {
    UploadPartRequest part = new UploadPartRequest();
    part.setBucketName(bucketName);
    part.setObjectKey(objectKey);
    part.setUploadId(uploadId);
    part.setPartNumber(partNumber);
    part.setFile(file);
    part.setOffset(offset);
    part.setPartSize(size);
    UploadPartResult result = obsClient.uploadPart(part);
    partEtags.add(new PartEtag(result.getEtag(), partNumber));
}

CompleteMultipartUploadRequest complete =
    new CompleteMultipartUploadRequest(bucketName, objectKey, uploadId, partEtags);
obsClient.completeMultipartUpload(complete);

三、断点续传与失败恢复

要实现真正的断点续传，客户端需要持久化任务状态，而不仅是在内存中保存 uploadId。建议记录 bucket、objectKey、uploadId、源文件大小与修改时间、分段大小，以及每个已完成分段的编号和 ETag。进程重启后先校验源文件未变化，再查询或恢复已上传分段，仅补传缺失部分。若源文件内容可能被替换，可额外记录文件摘要或业务版本号，避免把旧分段与新文件混合完成。

重试应针对可恢复的网络错误和服务端暂时性错误进行，并采用带随机抖动的指数退避，设置最大次数和总耗时上限。对于超时后结果不确定的请求，不要简单假设分段失败；应查询已上传分段并核对编号、大小和 ETag，再决定是否重传。完成请求成功后，可通过对象元数据或业务侧校验确认目标对象已生成。

四、上线前的运维检查

生产环境需要配置连接与读取超时，限制单任务及全局并发，并监控上传耗时、失败率、重试次数、有效吞吐和未完成任务数量。出现失败时记录 uploadId、对象键、分段编号和错误码，避免在日志中泄露访问密钥。对长期未完成的上传任务，可结合生命周期规则清理未完成分段；具体规则配置应以 OBS 当前控制台和文档为准。

最后，使用真实网络条件进行压测，覆盖大文件、弱网、进程重启和权限异常等场景。合理的分段大小、可控并发、可恢复的任务状态及及时清理机制，通常比单纯提高线程数更能提升上传稳定性。将这些策略封装为可复用组件后，业务团队即可在不重复处理底层异常的前提下安全地上传大文件。