华为云 OBS 大文件分段上传优化：并发控制、断点续传与失败治理

在日志归档、媒体处理和数据迁移等场景中，单次上传一个数 GB 甚至更大的文件，常会遇到连接中断后必须重传、请求耗时过长以及应用内存压力过高等问题。华为云对象存储服务 OBS 的分段上传可以将对象拆成多个分段分别传输，最后再合并为完整对象。合理规划分片和并发策略，能够兼顾上传效率、网络稳定性与客户端资源使用。

一、分段上传适合解决什么问题

分段上传将文件拆分为若干独立的数据段，每段上传成功后，客户端保存对应的分段编号和 ETag 等信息；全部分段完成后，再提交合并请求。某个分段失败时，通常只需重传该分段，而不必从头传输整个文件。对于大文件、弱网环境和需要断点续传的业务，这种方式尤其有价值。

需要注意，分段上传不是简单地把并发数开到最大。并发过高会增加带宽竞争、连接数和内存占用，也可能引发限流或超时。建议通过实际网络和文件规模进行压测，逐步调整分片大小与并发数，并为上传任务设置合理的超时和取消机制。

二、分片大小与并发数的规划

分片过小会产生更多请求，增加调度和请求开销；分片过大则会放大单次失败的重传成本，并可能占用更多缓冲资源。可从 16 MiB 到 64 MiB 的分片大小开始测试，再结合文件大小、客户端内存和网络带宽调整。对于大多数应用，先将并发数控制在 4 至 8 路，观察吞吐量、错误率和内存使用，再决定是否提高。

若客户端按照文件流读取数据，应避免在内存中一次性加载整个文件。分段数据可以按需读取并提交；如果采用并发上传，需要确保各分段任务拥有独立的数据缓冲区，避免多个线程共享可变状态导致数据错乱。

三、上传流程与关键代码

使用 OBS Java SDK 时，基本流程是创建分段上传任务、逐段上传并记录返回信息，最后按分段编号提交合并。下面示例展示核心调用关系，实际项目还应根据所使用的 SDK 版本核对请求对象和方法签名，并补充文件读取、线程池管理及异常处理。

long partSize = 32L * 1024 * 1024; // 初始分片大小：32 MiB
int concurrency = 6;               // 根据压测结果调整

InitiateMultipartUploadResult init =
    obsClient.initiateMultipartUpload(bucketName, objectKey);
String uploadId = init.getUploadId();
List<PartEtag> uploadedParts = new ArrayList<>();

try {
    for (int partNumber = 1; hasMoreData(); partNumber++) {
        byte[] data = readNextPart(partSize);
        UploadPartRequest request = new UploadPartRequest();
        request.setBucketName(bucketName);
        request.setObjectKey(objectKey);
        request.setUploadId(uploadId);
        request.setPartNumber(partNumber);
        request.setInput(new ByteArrayInputStream(data));
        request.setPartSize(data.length);
        UploadPartResult result = obsClient.uploadPart(request);
        uploadedParts.add(new PartEtag(partNumber, result.getEtag()));
    }
    obsClient.completeMultipartUpload(bucketName, objectKey, uploadId, uploadedParts);
} catch (Exception e) {
    // 记录 uploadId 与已完成分段信息，按策略重试或中止任务
    throw e;
}

示例中的读取逻辑应确保最后一段可以小于标准分片大小；并发实现则可将分段任务提交到有界线程池，避免任务无限堆积。并发完成后，应按照分段编号整理结果，再提交合并请求。不要依赖线程完成的先后顺序，因为实际完成顺序可能与分段编号不同。

四、断点续传、重试与清理

断点续传的关键是持久化上传任务标识和已完成分段记录。客户端重启后，可以恢复任务状态，仅补传尚未成功的分段。对于临时网络错误，建议采用有限次数的指数退避重试，并加入随机抖动，避免大量客户端同时重试；对于鉴权失败、参数错误等不可重试问题，应及时返回明确错误，不要反复发送请求。

上传任务长期未完成时，已上传分段会占用存储空间。业务侧应在任务失败或用户取消时主动中止分段上传，并配置 OBS 生命周期规则清理过期的未完成分段。生产环境还应对上传成功率、重试次数、平均耗时、单任务分段数和客户端内存进行监控，以便区分网络问题、参数问题与资源瓶颈。

五、上线前的验证清单

建议使用不同文件大小和网络条件进行压测，验证并发数提升是否真正带来吞吐收益；模拟连接中断、进程重启和分段失败，检查断点恢复与任务清理是否符合预期；同时确认对象权限、服务端加密和校验策略满足业务要求。通过小步调优并持续观测指标，才能让 OBS 大文件上传在速度、可靠性和成本之间取得平衡。