把大文件上传从后端挪走:OBS 预签名 PUT 直传的落地写法

举报
yd_241073413 发表于 2026/11/13 17:00:42 2026/11/13
【摘要】 给内部工具做视频导出的上传功能,后端跑在 2 核 4G 的 ECS 上。用户传 300MB 左右的素材,十次里有两三次卡在 60% 不动,最后回一个 502。看 nginx 日志,client_body_temp 目录先写满了,请求体还没进到应用就被截断。问题的根子不在对象存储,而在于文件变成了"过路"的:浏览器 → nginx → Flask → OBS,同一份字节在链路上走了两遍,ECS...

给内部工具做视频导出的上传功能,后端跑在 2 核 4G 的 ECS 上。用户传 300MB 左右的素材,十次里有两三次卡在 60% 不动,最后回一个 502。看 nginx 日志,client_body_temp 目录先写满了,请求体还没进到应用就被截断。

问题的根子不在对象存储,而在于文件变成了"过路"的:浏览器 → nginx → Flask → OBS,同一份字节在链路上走了两遍,ECS 的公网带宽和临时磁盘先撑不住。真正的上传方应该是浏览器,而应用只该负责签发凭证、记录对象键、事后校验三件事。

改成预签名直传之后,后端每次请求只返回一个带签名、15 分钟内有效的 PUT 地址,浏览器拿着它把文件直接推到 OBS,应用侧不接触文件内容。签名的核心是:把服务端密钥留在服务端,让 URL 自己携带授权。

后端签发部分(Flask + 官方 Python SDK):


import uuid
from flask import Flask, jsonify, request
from obs import ObsClient

app = Flask(__name__)
client = ObsClient(
    access_key_id="<AK>",
    secret_access_key="<SK>",
    server="https://obs.cn-north-4.myhuaweicloud.com",
)
BUCKET = "upload-inbox"


@app.post("/api/upload-ticket")
def upload_ticket():
    content_type = request.get_json()["content_type"]
    key = f"inbox/{uuid.uuid4().hex}"          # 键名由服务端定,别信客户端文件名
    res = client.createSignedUrl(
        "PUT",
        BUCKET,
        key,
        expires=900,
        headers={"Content-Type": content_type},  # 签进去的头,前端必须原样带上
    )
    if res.status >= 300:
        return jsonify(error=res.errorMessage), 500
    return jsonify(key=key, url=res.signedUrl, expire=900)

前端只需要两步,不再经过自己的后端:


const ticket = await (await fetch("/api/upload-ticket", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ content_type: file.type }),
})).json();

const resp = await fetch(ticket.url, {
  method: "PUT",
  headers: { "Content-Type": file.type },
  body: file,
});
if (!resp.ok) throw new Error(await resp.text());
await fetch("/api/upload-done", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ key: ticket.key, size: file.size }),
});

最后那个 /api/upload-done 不是多余的确认框,而是校验入口:服务端拿 key 做一次 HEAD,比对对象大小与 Content-Type,再看业务侧是否允许这个类型,通过之后才把 key 写入业务表。没有这一步,任何拿到 URL 的人都能往桶里塞任意内容。

几个必须提前处理的点:

签名头要完全一致。Content-Type 既然签进了 URL,前端 PUT 时就必须带同一个值,大小写、多空格、少了 charset 都会导致 SignatureDoesNotMatch。这个错误提示很含糊,第一次排查容易被引到密钥错误的方向去。

桶的 CORS 要配全。AllowedMethod 必须包含 PUT,AllowedHeader 写到实际会带的那几个,ExposeHeader 里至少要暴露 ETag,否则想在前端显示进度或做分片时拿不到响应头。改完 CORS 后浏览器会缓存预检结果,测试时记得勾上禁用缓存。

PUT 预签名不限制大小。URL 能签出来,对方就能往里灌任意大的文件,所以要么改用 POST policy 里的 content-length-range 做硬限制,要么在 HEAD 校验时对超限对象直接删除并计一次告警。两种都做也不冲突。

键名不要用用户上传的文件名。中文、空格、斜杠在签名和编码上很容易踩坑,直接用 UUID,原始文件名放到对象元数据里存,既避开了编码问题,也顺带解决了同名覆盖。

文件更大就走分片:前端切片,每片单独要一次签名地址,完成后服务端合并,失败只重传出错的那片。签名逻辑与单次 PUT 一致,只是多了片号。

改完之后,这个接口在应用侧的耗时从秒级降到几十毫秒,ECS 带宽曲线也平了下来。回头看在链路上少走一遍字节,比在超时时间、分片大小这些参数上反复调要省事得多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。