对象存储大文件上传:分片上传、断点续传与秒传的落地做法

举报
yd_254285191 发表于 2026/11/08 10:12:47 2026/11/08
【摘要】 大文件一次上传失败率高、重传成本大。本文介绍分片上传、断点续传与秒传的组合做法:按文件大小选择分片、并发上传与合并流程,失败后只补传缺失分片,相同文件用哈希秒传跳过重复上传,并给出重试、凭证过期与孤儿分片清理等异常处理要点和一份最小实现清单。

为什么大文件上传总出问题

在日常开发中,上传几 MB 的图片或文档通常一次请求就能完成。但当文件体积达到几百 MB 甚至几个 GB 时,直接用一次 PUT 请求上传就会暴露出不少问题:网络稍有抖动就得从头重传,用户等待时间长,失败率居高不下;单个请求占用连接时间过长,服务端也容易超时;大文件一旦中途失败,之前已经传输的流量全部白费。

某视频素材管理系统的上线初期就遇到过这个问题:用户上传 2GB 的原始素材,成功率不到 60%,客服收到的投诉几乎都和上传有关。后来引入分片上传与断点续传,成功率提升到 99% 以上,平均上传耗时也下降了约一半。

分片上传的基本思路

分片上传的核心是把一个大文件切成多个固定大小的片段,逐个上传,最后由服务端合并。

分片大小怎么定

常见的分片大小是 5MB 到 20MB 之间。分片太小会导致请求数量暴增,服务端合并开销变大;分片太大则单个分片失败的重传成本变高。实际项目中可以按文件大小动态选择:100MB 以下的文件用 5MB 分片,GB 级文件用 10MB 或 20MB 分片。

上传流程分三步

第一步是初始化上传会话。客户端向服务端申请一个上传任务,服务端返回一个上传标识(UploadId),同时记录文件的基本信息,如文件名、总大小和分片数量。

第二步是并行上传分片。客户端按顺序或并发上传每个分片,每个分片携带自己的序号和校验信息。并发数一般控制在 3 到 5 个,过高的并发反而会因为带宽竞争导致整体变慢。每个分片上传成功后,服务端返回该分片的标识,客户端记录下来。

第三步是合并分片。所有分片上传完成后,客户端把各分片的标识清单发给服务端,服务端按序号合并成完整文件,并做一次整体校验,确认无误后返回最终的文件地址。

断点续传:失败后不用从头来

断点续传建立在分片上传的基础上。客户端在本地记录每个分片的上传状态,上传中断后重新发起任务时,先向服务端查询已上传的分片列表,只补传缺失的分片。

实现时有几个要点:上传进度要持久化到本地存储,页面刷新或浏览器关闭后仍能恢复;查询已上传分片的接口要幂等,避免重复上传;合并前必须校验分片数量与总大小是否一致,防止缺片导致文件损坏。

一个容易忽略的细节是上传会话的有效期。对象存储服务通常会给未完成的上传任务设置过期时间,例如 7 天,过期后服务端自动清理已上传的分片。客户端在恢复上传前应先确认会话是否仍然有效。

秒传:用文件指纹跳过重复上传

如果多个用户上传内容完全相同的文件,重复传输就是浪费。秒传的做法是:上传前先计算文件的哈希值(如 MD5 或 SHA-256),发送给服务端查询是否已存在相同文件。如果存在,直接引用已有文件,跳过上传过程,用户侧几乎是瞬间完成。

秒传要注意两个问题:一是哈希计算本身耗时,大文件在浏览器端计算哈希可能阻塞页面,建议用 Web Worker 在后台计算,或者只对文件的前、中、后三段采样计算;二是秒传可能被滥用为探测文件是否存在的手段,敏感场景下应限制秒传只对已登录用户开放,或对哈希查询做权限校验。

失败重试与异常处理

网络环境不可控,重试机制必不可少。单个分片失败时,先做指数退避重试,例如间隔 1 秒、2 秒、4 秒,最多重试 3 次;超过次数再标记整个任务失败,由用户手动恢复。

常见异常还包括:上传凭证过期,表现为 403 错误,需要重新申请临时凭证后继续;分片序号错乱,合并时服务端会报错,客户端应重新查询分片状态再合并;用户主动取消上传时,应调用取消接口清理服务端已上传的分片,避免产生孤儿数据占用存储空间。

一个可落地的最小实现清单

  • 前端:文件切片用 Blob.slice,并发上传控制在 3 到 5 路,进度条按已上传字节数实时更新。
  • 断点续传:本地存储记录 UploadId 与各分片状态,恢复时先查服务端已上传列表再补传。
  • 秒传:上传前计算文件哈希,先查后传;大文件用 Web Worker 计算哈希避免卡顿。
  • 服务端:提供初始化、查询分片、合并、取消四个接口,合并后做整体校验。
  • 运维:设置未完成上传任务的过期清理策略,定期清理孤儿分片,监控上传成功率与平均耗时。

小结

大文件上传没有银弹,分片上传解决的是单次传输不可靠的问题,断点续传解决的是失败重传成本高的问题,秒传解决的是重复传输浪费的问题。三者组合起来,再配上合理的重试与清理策略,就能把一个投诉重灾区变成稳定可靠的基础能力。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。