华为云 OBS 对象存储实战:从签名 URL 到分片上传的完整落地方案

举报
辣椒酱来了 发表于 2026/10/30 10:42:39 2026/10/30
【摘要】 一个跑了三年的 Flask 应用,附件目录从 20 GB 涨到 800 GB,备份窗口越来越长,迁移越来越不敢想。本文完整记录了把附件存储切到华为云 OBS 的全过程:预签名 URL 如何把带宽从服务器卸下来、大文件分片上传与断点续传怎么实现、以及桶策略和成本优化上踩过的坑。

一、本地存储的三道天花板

我们最早的文件存储方案很朴素:Flask 应用里建一个 uploads/ 目录,用户上传的文件按日期分子目录落盘,数据库里只存相对路径。

这个方案在 20 GB 的时候完美,到 800 GB 就开始出问题。

扩容是断崖式的。 云盘扩容要停机、要重新挂载、要担心文件系统一致性。而且扩容只能往上加,没法平滑地缩回来。

备份窗口不断拉长。 每晚把 800 GB 全量同步一次,跑不完就得第二天接着跑,备份本身成了新的故障源。

多实例部署直接卡死。 想水平扩到两台应用服务器,立刻遇到文件不一致:用户在 A 服务器上传的文件,B 服务器读不到。要么上共享存储(NAS),要么改架构。

第三条是真正促使我们动手的原因。对象存储天然解决了"多个无状态节点共享文件"的问题——文件不在任何一台机器上,而在一个所有节点都能访问的地方。

二、先把 OBS 的几个概念理清

2.1 桶(Bucket)、对象(Object)、Key

OBS 的模型极其简单:桶是一个命名空间,对象是桶里的一份数据,通过 Key(其实就是完整路径)定位。

obs://my-app-files/
└── attachments/
    └── 2026/10/29/
        └── a1b2c3d4-用户报告的截图.png

注意两点:桶名全局唯一(全球范围内不能重复),没有真正的目录层级(/ 只是 Key 里的普通字符,控制台按 / 切分展示,看起来像目录)。

后者带来一个有意思的副作用:想"重命名一个目录",对象存储里不存在这个操作,必须把每个对象复制到新 Key 再删旧 Key。所以 Key 的设计要一次定好,别把易变的字段放进路径前缀。

2.2 存储类别

这是省钱的关键,很多人只用一个"标准存储",白白多花钱。

存储类别 取回 适用场景 相对成本
标准存储 毫秒级,随时 频繁访问的活跃数据 基准
低频访问 毫秒级,有最低存储期 一个月看几次的数据 较低
归档存储 需先恢复,有恢复时间 备份、合规留存 很低
深度归档 恢复更慢 极少访问的冷数据 极低

我们的实际策略是按访问模式分层:用户三个月内上传的附件放标准存储,三到十二个月的低频访问,一年以上的归档。切换存储类别不改 Key,只是在对象上加一个标记,代码层面几乎零成本。

2.3 访问方式:三种,选错了会很难受

方式 特点 适用
永久 AK/SK 长期有效,权限大 只用于服务端后台任务,绝不能进客户端
临时凭证(STS) 有时效,权限可缩到单桶单前缀 需要客户端直传时
预签名 URL 一个带签名的临时链接 单次上传或下载,最常用

核心原则:AK/SK 永远不出服务器。 一旦前端拿到永久密钥,等于把整个账号交出去。

三、架构:把流量从服务器上卸下来

改造前的数据流是这样的——所有文件都要穿过应用服务器:

浏览器 ──上传──▶ Flask 服务器 ──转发──▶ 磁盘
                     ↑
                带宽瓶颈在这里

改造之后,服务器只负责"发一张通行证":

   ┌────────────────────────────────────────┐
   │  1. 前端请求上传凭证                        │
   │     POST /api/upload/token                 │
   └────────────────┬───────────────────────────┘
                    ▼
          ┌──────────────────┐
          │  Flask 服务端    │  2. 生成预签名 URL
          │  (只做签名)      │     不碰文件本体
          └────────┬─────────┘
                   │ 3. 返回 {url, key}
                   ▼
   ┌────────────────────────────────────────┐
   │  4. 前端 PUT 直传 OBS                       │
   │     浏览器 ──────────────▶ OBS 桶          │
   └────────────────┬───────────────────────────┘
                    │ 5. 回调通知 / 前端回报 key
                    ▼
          ┌──────────────────┐
          │  业务库只存 key   │
          └──────────────────┘

这个改动最直接的效果是:应用服务器的带宽占用掉了 95%。以前用户传一个 100 MB 的文件,服务器的入站出站都要吃满;现在服务器只发一个几百字节的 URL,文件从浏览器直接进 OBS。

四、实战一:最小可用的上传流程

4.1 服务端生成预签名 URL

# storage.py
import os
from datetime import datetime
from obs import ObsClient

_client = ObsClient(
    access_key_id=os.environ["OBS_AK"],
    secret_access_key=os.environ["OBS_SK"],
    server=os.environ["OBS_ENDPOINT"],   # 例如 obs.cn-southwest-2.myhuaweicloud.com
)

BUCKET = os.environ["OBS_BUCKET"]


def build_object_key(filename: str, user_id: str) -> str:
    """生成对象 Key,路径里不放易变字段"""
    today = datetime.now().strftime("%Y/%m/%d")
    ext = os.path.splitext(filename)[1].lower()
    # 用 UUID 做文件名,避免中文、空格、特殊字符带来的编码问题
    import uuid
    return f"attachments/{user_id}/{today}/{uuid.uuid4().hex}{ext}"


def presign_put(key: str, expires: int = 600) -> str:
    """生成上传用的预签名 URL,默认 10 分钟有效"""
    resp = _client.createSignedUrl(
        "PUT", BUCKET, key,
        expires=expires,
        headers={"Content-Type": "application/octet-stream"},
    )
    if resp.status >= 300:
        raise RuntimeError(f"sign failed: {resp.errorMessage}")
    return resp.signedUrl

几个细节:

  • expires 不要给太长。10 分钟足够用户传完一个文件,给 24 小时等于留了个长期后门。
  • headers 里声明 Content-Type,前端 PUT 时必须带一模一样的值,否则签名校验失败。这是最常见的 403 原因。
  • Key 用 UUID,不要用原始文件名。中文名、空格、#、? 这些字符在 URL 里都要处理,而且容易撞名。

4.2 前端直传

async function uploadFile(file) {
  // 1. 向自己的服务端要凭证
  const tokenResp = await fetch('/api/upload/token', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({ filename: file.name, size: file.size })
  });
  const { url, key } = await tokenResp.json();

  // 2. 直接把文件 PUT 到 OBS
  const putResp = await fetch(url, {
    method: 'PUT',
    headers: { 'Content-Type': 'application/octet-stream' },
    body: file
  });

  if (!putResp.ok) throw new Error(`上传失败: ${putResp.status}`);

  // 3. 告诉业务后端,把关键到库里
  await fetch('/api/upload/confirm', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({ key, size: file.size, filename: file.name })
  });

  return key;
}

4.3 下载:同样用预签名

私有桶不能用公开 URL 直接访问,下载同样走签名:

def presign_get(key: str, filename: str, expires: int = 3600) -> str:
    resp = _client.createSignedUrl(
        "GET", BUCKET, key,
        expires=expires,
        # 让浏览器下载而不是内联预览,并指定保存的文件名
        headers={
            "response-content-disposition":
                f'attachment; filename="{filename}"'
        },
    )
    return resp.signedUrl

response-content-disposition 这个参数很实用——不加的话浏览器会尝试在页面里打开图片或 PDF,加了才能触发"另存为"对话框并带上正确的文件名。

五、实战二:大文件分片上传与断点续传

超过 100 MB 的文件用单次 PUT 有两个问题:一是上传中断就必须从头来,二是单请求超时风险高。OBS 支持分片上传(Multipart Upload),把一个对象拆成多个 Part 分别上传,最后合并。

5.1 三个步骤

InitiateMultipartUpload  →  得到 uploadId
        ↓
UploadPart (partNumber=1..N)  →  每个 Part 得到 ETag
        ↓
CompleteMultipartUpload  →  提交 {partNumber, ETag} 列表

5.2 后端接口设计

def init_multipart(key: str) -> str:
    resp = _client.initiateMultipartUpload(BUCKET, key)
    if resp.status >= 300:
        raise RuntimeError(resp.errorMessage)
    return resp.body.uploadId


def sign_part(key: str, upload_id: str, part_number: int, expires: int = 3600) -> str:
    """给单个分片生成预签名 URL"""
    resp = _client.createSignedUrl(
        "PUT", BUCKET, key,
        expires=expires,
        queryParams={"partNumber": str(part_number), "uploadId": upload_id},
    )
    return resp.signedUrl


def complete_multipart(key: str, upload_id: str, parts: list) -> dict:
    """parts 形如 [{"PartNumber": 1, "ETag": '"xxx"'}, ...]"""
    resp = _client.completeMultipartUpload(BUCKET, key, upload_id, parts)
    if resp.status >= 300:
        raise RuntimeError(resp.errorMessage)
    return {"key": key, "etag": resp.body.etag}


def abort_multipart(key: str, upload_id: str):
    """用户取消上传时必须调用,否则碎片会一直计费"""
    _client.abortMultipartUpload(BUCKET, key, upload_id)

5.3 前端并发分片

const CHUNK_SIZE = 5 * 1024 * 1024;   // 5 MB 一片

async function multipartUpload(file) {
  const key = await getKeyFromServer(file);
  const { uploadId } = await postJSON('/api/multipart/init', { key });

  const totalParts = Math.ceil(file.size / CHUNK_SIZE);
  const parts = new Array(totalParts);
  const CONCURRENCY = 3;
  let cursor = 0;

  async function worker() {
    while (true) {
      const index = cursor++;
      if (index >= totalParts) return;

      const start = index * CHUNK_SIZE;
      const blob = file.slice(start, Math.min(start + CHUNK_SIZE, file.size));
      const partNumber = index + 1;

      const url = await postJSON('/api/multipart/sign', {
        key, uploadId, partNumber
      }).then(r => r.url);

      const resp = await fetch(url, {
        method: 'PUT',
        body: blob
      });
      if (!resp.ok) throw new Error(`分片 ${partNumber} 失败`);

      // ETag 在响应头里,注意带引号,提交时要原样带上
      parts[index] = {
        PartNumber: partNumber,
        ETag: resp.headers.get('ETag')
      };
    }
  }

  await Promise.all(Array.from({ length: CONCURRENCY }, worker));

  return postJSON('/api/multipart/complete', { key, uploadId, parts });
}

几个必须注意的坑:

ETag 必须带引号。 服务端返回的是 "abc123"(含双引号),提交时必须原样传,把引号去掉会报 InvalidPart。

Part 必须严格升序且完整。 提交时缺任何一片都会失败。代码里用数组按索引存,天然保证顺序。

中止要显式调用。 用户关掉浏览器、网络断了、上传失败——这些情况下已经上传的碎片会一直留在桶里持续计费。所以:要么设桶的生命周期规则自动清理未完成的分片上传,要么在前端 beforeunload 里兜底调 abort。推荐两者都做。

分片大小有下限。 除最后一片外,每片不能小于 5 MB。分太小反而会因为请求次数多而变慢变贵。

六、安全:三道闸门

6.1 桶权限:私有是默认答案

除非是公开的静态资源(如图片 CDN 源站),否则一律用私有桶。公开桶意味着任何人知道你猜出 Key 就能下载,而 Key 里往往带着用户 ID 和时间,并不难猜。

访问控制用桶策略更精细:

{
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": { "ID": "domain/your-account-id" },
      "Action": ["obs:object:GetObject"],
      "Resource": ["my-app-files/attachments/*"]
    }
  ]
}

原则是按前缀授权:后端服务只拿到 attachments/ 前缀的读写权,拿不到 backup/ 下的数据库备份。

6.2 上传校验:别信客户端

前端直传有个天然缺陷——服务端看不见文件内容,无法校验。所以必须补三道:

  1. 签发前校验:/api/upload/token 里检查文件大小是否超限、扩展名是否在白名单。虽然客户端能改,但至少挡住正常用户误传。
  2. 签到时校验 Content-Type:签名里锁定 Content-Type,前端改不了。
  3. 落地后校验:对象进桶后触发一个函数(可以用 FunctionGraph 的 OBS 触发器),检查 mime 类型是否真的是图片/文档,不符就删除并告警。

第 3 条是关键。永远不要相信文件扩展名,一个 .jpg 可能是任意可执行内容。

6.3 防盗链

桶上配置 Referer 白名单,只允许自己的域名访问。虽然对私有桶(都要签名)意义不大,但如果有公开的静态资源,这一项必配。

七、成本优化:四个真实有效的动作

动作 效果 注意
按访问频率分层存储 冷数据成本降 50% 以上 低频/归档有最低存储期,提前删会按最低期计费
生命周期规则自动转储 无需人工干预 规则按前缀匹配,前缀设计要提前想好
清理未完成分片 消除隐性计费 很多团队忽略这块,账单里能看到
同区域内网访问 免流量费 ECS 和 OBS 必须同区域,跨区域走公网就收费了

最后一条特别容易被忽略。如果 ECS 在华南-广州,OBS 桶建在华北-北京,那么每秒几十 MB 的内网传输全部按公网流量计费,账单会非常难看。建桶时区域一定要和计算资源对齐。

八、迁移旧数据的实践

800 GB 存量数据怎么搬?三种办法:

obsutil 命令行工具(推荐)。支持增量同步、断点续传、并发上传,适合一次性大批量迁移。

obsutil sync /data/uploads obs://my-app-files/attachments/ \
  -e=obs.cn-southwest-2.myhuaweicloud.com \
  -i=AK -k=SK \
  -j=16 -u

-u 是增量,重复执行只会传变化的部分,中断了重跑就行。

数据快递服务(DES)。数据量上 TB 且带宽有限时,物理寄硬盘比网络传输快。听起来原始,但在大容量场景下确实最经济。

应用双写过渡。迁移期间让新文件同时写本地和 OBS,读的时候优先 OBS、回退本地,跑一两周确认没问题再切干净。这是最稳的方式,代价是代码要改一阵子。

我们选的是第三条——因为业务不能停,双写能让迁移对用户完全无感。

九、常见问题 Q&A

Q1:预签名 URL 报 403 SignatureDoesNotMatch,怎么排查?

九成是请求头和签名时声明的不一致。检查三点:Content-Type 是否完全一样、URL 有没有被二次编码(比如 + 变成空格)、有没有多余的 Header 被一起签进去。把签名时的 headers 和实际请求的 headers 打印出来逐字对比,基本一眼就能看出。

Q2:桶名能不能改?

不能。桶名全局唯一且不可修改,删桶重建意味着所有 Key 都失效。建桶前把命名规范想清楚,建议格式 公司-业务-环境,例如 acme-upload-prod。

Q3:怎么限制单个用户占用空间?

OBS 本身不提供配额。要么在业务层统计(数据库累加用户已用空间),要么用桶策略限制前缀(粒度太粗)。实践上还是业务层统计 + 定时核对最可靠。

Q4:对象删除了能恢复吗?

开了多版本控制(Versioning)就可以,删除只是打一个删除标记,历史版本还在。但要注意多版本会让存储量翻倍,需要配生命周期规则清理旧版本。

Q5:跨区域访问很慢怎么办?

用 CDN 加速,或者把桶建在用户主要聚集的区域。如果只是服务端内部访问,确保 ECS 和 OBS 同区域走内网。

Q6:能不能直接当文件服务器用?

技术上可以(公开桶 + 静态网站托管),但生产上不建议。缺少缓存控制、缺少鉴权粒度、成本也高于专门的 CDN。静态资源还是走 CDN 更合适。

十、总结

从本地磁盘搬到 OBS,表面上只是换了个存储位置,实际上改的是架构里的责任划分:应用服务器不再承担"保管文件"这个职责,只负责"授权谁可以访问哪个文件"。

这个转变带来的收益远不止省空间:服务器变成完全无状态、可以随意横向扩展;带宽成本从"按服务器规格买"变成"按实际用量付";备份问题直接消失,因为对象存储本身就是多副本冗余的。

如果你现在的应用也在 uploads/ 目录里堆着几百 GB 文件,不妨先算一笔账:这些文件过去 30 天被访问过几次? 答案很可能不到 5%,而那 95% 的冷数据,本就不该占用最贵的存储。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。