华为云 OBS 事件通知 + FunctionGraph 实战:把"对象上传"变成一条自动处理流水线

举报
yd_276533729 发表于 2026/11/17 15:25:43 2026/11/17
【摘要】 OBS 事件通知 + FunctionGraph 搭建对象上传后的自动处理流水线:事件规则配置、委托授权、超时与并发调优、结构化日志与幂等设计,附完整踩坑清单。

上一篇文章里我用 HarmonyOS 客户端把文件直接传到了 OBS。真正落到生产场景,问题立刻就来了:文件传上去之后呢?

缩略图要生成、图片要打水印、大文件要写进数据库建索引、敏感文件要送去做内容审核……如果这些都靠客户端在上传完成后再"顺手发一个请求",那只要客户端崩溃、网络抖动、用户杀进程,这条链路就断了,而且没有任何补偿机制。

正解是把"上传完成"这个事实交给云端:OBS 事件通知 → FunctionGraph 函数 → 下游处理。这篇文章记录我在华为云上把这条流水线搭起来的过程,包括几个容易翻车的配置细节。

一、整体链路

客户端 PUT 对象
      │
      ▼
OBS 桶 (photo_backup/v2/xxx)
      │  触发事件 ObjectCreated:PutObject
      ▼
FunctionGraph 函数 (Python 3.9)
      │
      ├── 解析事件里的 bucket / object key / size
      ├── 生成缩略图 / 写元数据
      └── 投递到下游(DIS / DMS / 数据库 / 再调 API)

选择 OBS + FunctionGraph 而不是自建常驻服务的理由很简单:事件驱动、按调用计费、零闲置成本。相册这种"用户想传才传"的业务,白天可能一分钟几个请求,凌晨可能几小时没有,常驻一台 ECS 纯属浪费。

二、第一步:给桶配事件通知

在 OBS 控制台的对象存储桶 - 事件通知里新建一条规则,关键是三个字段:

字段 取值 说明
事件类型 ObjectCreated:PutObject 只关心新增对象。如果用了分段上传,还要额外勾 ObjectCreated:CompleteMultipartUpload,否则大文件不会有事件
对象前缀 photo_backup/v2/ 前缀一定要带结尾斜杠,否则 photo_backup/v2abc 也会命中
对象后缀 .jpg .png .mp4 多个后缀逐条添加,不能写在一行里用逗号隔开

这里有个我踩过的坑:事件通知规则有数量上限(同一桶最多 100 条),如果按用户维度拆规则,很快就会用完。正确做法是用一条规则 + 宽前缀,让函数自己从 object key 里解析业务维度。

还有一个更隐蔽的问题:OBS 事件是"至少要投递一次"(at-least-once),不是精确一次。同一个对象可能触发两次函数。所以函数必须是幂等的——我在函数入口先查一下缩略图对象是否已存在,存在就直接返回:

def handler(event, context):
    data = json.loads(event)
    for record in data.get("Records", []):
        bucket = record["obs"]["bucket"]["name"]
        key = unquote_plus(record["obs"]["object"]["key"])
        if key.endswith(".thumb.jpg"):
            continue  # 避免自己触发的写入再次触发
        thumb_key = build_thumb_key(key)
        if object_exists(bucket, thumb_key):
            continue  # 幂等:已经处理过
        make_thumbnail(bucket, key, thumb_key)

三、第二步:函数里怎么拿凭证

这是整件事里最容易写出安全漏洞的地方。很多示例直接在函数里硬编码 AK/SK,这在测试环境看着能跑,上线就是灾难。

正确姿势是用函数委托(Agency):在 IAM 里建一个委托,授予 OBS OperateAccess 之类的最小权限策略,然后在 FunctionGraph 函数配置里绑定这个委托。函数运行时通过临时凭证访问 OBS,代码里一行 SK 都不出现:

from obs import ObsClient

# 使用函数委托获取的临时凭证
credentials = context.getUserData("credentials")
ak = context.getAccessKey()
sk = context.getSecretKey()
server = "%s.obs.%s.myhuaweicloud.com" % (bucket, region)
client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)

委托的权限一定要收窄到单个桶 + 单个前缀,而不是整个账号的 OBS 全权限。自定义策略大概长这样:

{
  "Version": "1.1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["obs:object:GetObject", "obs:object:PutObject"],
      "Resource": ["obs:*:*:object:my-album/photo_backup/v2/*"]
    }
  ]
}

四、第三步:超时与并发,别让函数"半死"

FunctionGraph 默认超时是 3 秒,这个值做缩略图必然不够。一张 4000×3000 的原图解码 + 缩放 + 重新编码,实测要 1.5~3 秒,PNG 更慢。

我第一次跑的时候函数全部超时,日志里只有一句超时退出,什么信息都没有。后来把超时改成 30 秒,并给函数加了内存(内存和 CPU 是成比例给的,128MB 的实例跑图像处理会卡到怀疑人生,512MB 起步),成功率立刻正常。

并发这块要注意:OBS 的突发流量很容易压出几十上百个并发。默认并发限制下超出的请求会被异步重试而不是直接丢掉,但如果重试也打满,事件就真的丢了。生产环境建议:

  1. 给函数配置预留实例,避免冷启动拖慢首字节;
  2. 在函数里加一层限流降级,遇到下游超时先写入 DIS 队列缓冲,不要死等。

五、第四步:可观测性

事件驱动最大的痛点是"出问题时找不到链路"。我在函数里固定打印一条结构化日志:

logger.info(json.dumps({
    "trace": context.getTraceId(),
    "bucket": bucket,
    "key": key,
    "size": size,
    "cost_ms": cost_ms,
    "stage": "thumb",
}, ensure_ascii=False))

配合 LTS 日志服务的检索语法,可以直接用 key: "photo_backup/v2/user_12345/" 把某个用户的所有处理记录捞出来。trace id 是串联 OBS 事件和函数日志的唯一纽带,一定要打。

六、踩坑清单

现象 原因 解决
大文件上传后没有事件 只配了 PutObject 补上 CompleteMultipartUpload
部分对象触发两次 OBS 事件是 at-least-once 函数入口做幂等判断
函数全部超时 默认 3 秒不够 超时提到 30 秒,内存提到 512MB
函数报 Access Denied 委托策略没覆盖到目标前缀 检查策略 Resource 里的桶名和前缀
缩略图无限递归触发 缩略图也写在同一个前缀下 缩略图换个前缀,或用后缀过滤

七、小结

这套组合真正解决的不是"怎么生成缩略图",而是**"上传完成"这个事件的可靠传播**。一旦这个基础打通,后面想加内容审核、想加水印、想同步到另一个区域,都只是再加一个函数的事,客户端代码一行都不用改。

对比一下:客户端直连方案里,每加一个后处理需求就要发一次版;事件驱动方案里,客户端只负责传,云端各自演进。这个差别在业务迭代几次之后会非常明显。

后面打算再写一篇,把 DIS 缓冲层和失败重试队列补上,做一个能扛住流量尖峰的版本。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。