把大文件上传从后端挪走:OBS 预签名 PUT 直传的落地写法
给内部工具做视频导出的上传功能,后端跑在 2 核 4G 的 ECS 上。用户传 300MB 左右的素材,十次里有两三次卡在 60% 不动,最后回一个 502。看 nginx 日志,client_body_temp 目录先写满了,请求体还没进到应用就被截断。
问题的根子不在对象存储,而在于文件变成了"过路"的:浏览器 → nginx → Flask → OBS,同一份字节在链路上走了两遍,ECS 的公网带宽和临时磁盘先撑不住。真正的上传方应该是浏览器,而应用只该负责签发凭证、记录对象键、事后校验三件事。
改成预签名直传之后,后端每次请求只返回一个带签名、15 分钟内有效的 PUT 地址,浏览器拿着它把文件直接推到 OBS,应用侧不接触文件内容。签名的核心是:把服务端密钥留在服务端,让 URL 自己携带授权。
后端签发部分(Flask + 官方 Python SDK):
import uuid
from flask import Flask, jsonify, request
from obs import ObsClient
app = Flask(__name__)
client = ObsClient(
access_key_id="<AK>",
secret_access_key="<SK>",
server="https://obs.cn-north-4.myhuaweicloud.com",
)
BUCKET = "upload-inbox"
@app.post("/api/upload-ticket")
def upload_ticket():
content_type = request.get_json()["content_type"]
key = f"inbox/{uuid.uuid4().hex}" # 键名由服务端定,别信客户端文件名
res = client.createSignedUrl(
"PUT",
BUCKET,
key,
expires=900,
headers={"Content-Type": content_type}, # 签进去的头,前端必须原样带上
)
if res.status >= 300:
return jsonify(error=res.errorMessage), 500
return jsonify(key=key, url=res.signedUrl, expire=900)
前端只需要两步,不再经过自己的后端:
const ticket = await (await fetch("/api/upload-ticket", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ content_type: file.type }),
})).json();
const resp = await fetch(ticket.url, {
method: "PUT",
headers: { "Content-Type": file.type },
body: file,
});
if (!resp.ok) throw new Error(await resp.text());
await fetch("/api/upload-done", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ key: ticket.key, size: file.size }),
});
最后那个 /api/upload-done 不是多余的确认框,而是校验入口:服务端拿 key 做一次 HEAD,比对对象大小与 Content-Type,再看业务侧是否允许这个类型,通过之后才把 key 写入业务表。没有这一步,任何拿到 URL 的人都能往桶里塞任意内容。
几个必须提前处理的点:
签名头要完全一致。Content-Type 既然签进了 URL,前端 PUT 时就必须带同一个值,大小写、多空格、少了 charset 都会导致 SignatureDoesNotMatch。这个错误提示很含糊,第一次排查容易被引到密钥错误的方向去。
桶的 CORS 要配全。AllowedMethod 必须包含 PUT,AllowedHeader 写到实际会带的那几个,ExposeHeader 里至少要暴露 ETag,否则想在前端显示进度或做分片时拿不到响应头。改完 CORS 后浏览器会缓存预检结果,测试时记得勾上禁用缓存。
PUT 预签名不限制大小。URL 能签出来,对方就能往里灌任意大的文件,所以要么改用 POST policy 里的 content-length-range 做硬限制,要么在 HEAD 校验时对超限对象直接删除并计一次告警。两种都做也不冲突。
键名不要用用户上传的文件名。中文、空格、斜杠在签名和编码上很容易踩坑,直接用 UUID,原始文件名放到对象元数据里存,既避开了编码问题,也顺带解决了同名覆盖。
文件更大就走分片:前端切片,每片单独要一次签名地址,完成后服务端合并,失败只重传出错的那片。签名逻辑与单次 PUT 一致,只是多了片号。
改完之后,这个接口在应用侧的耗时从秒级降到几十毫秒,ECS 带宽曲线也平了下来。回头看在链路上少走一遍字节,比在超时时间、分片大小这些参数上反复调要省事得多。
- 点赞
- 收藏
- 关注作者
评论(0)