华为云 OBS 事件通知 + FunctionGraph 实战:把"对象上传"变成一条自动处理流水线
上一篇文章里我用 HarmonyOS 客户端把文件直接传到了 OBS。真正落到生产场景,问题立刻就来了:文件传上去之后呢?
缩略图要生成、图片要打水印、大文件要写进数据库建索引、敏感文件要送去做内容审核……如果这些都靠客户端在上传完成后再"顺手发一个请求",那只要客户端崩溃、网络抖动、用户杀进程,这条链路就断了,而且没有任何补偿机制。
正解是把"上传完成"这个事实交给云端:OBS 事件通知 → FunctionGraph 函数 → 下游处理。这篇文章记录我在华为云上把这条流水线搭起来的过程,包括几个容易翻车的配置细节。
一、整体链路
客户端 PUT 对象
│
▼
OBS 桶 (photo_backup/v2/xxx)
│ 触发事件 ObjectCreated:PutObject
▼
FunctionGraph 函数 (Python 3.9)
│
├── 解析事件里的 bucket / object key / size
├── 生成缩略图 / 写元数据
└── 投递到下游(DIS / DMS / 数据库 / 再调 API)
选择 OBS + FunctionGraph 而不是自建常驻服务的理由很简单:事件驱动、按调用计费、零闲置成本。相册这种"用户想传才传"的业务,白天可能一分钟几个请求,凌晨可能几小时没有,常驻一台 ECS 纯属浪费。
二、第一步:给桶配事件通知
在 OBS 控制台的对象存储桶 - 事件通知里新建一条规则,关键是三个字段:
| 字段 | 取值 | 说明 |
|---|---|---|
| 事件类型 | ObjectCreated:PutObject |
只关心新增对象。如果用了分段上传,还要额外勾 ObjectCreated:CompleteMultipartUpload,否则大文件不会有事件 |
| 对象前缀 | photo_backup/v2/ |
前缀一定要带结尾斜杠,否则 photo_backup/v2abc 也会命中 |
| 对象后缀 | .jpg .png .mp4 |
多个后缀逐条添加,不能写在一行里用逗号隔开 |
这里有个我踩过的坑:事件通知规则有数量上限(同一桶最多 100 条),如果按用户维度拆规则,很快就会用完。正确做法是用一条规则 + 宽前缀,让函数自己从 object key 里解析业务维度。
还有一个更隐蔽的问题:OBS 事件是"至少要投递一次"(at-least-once),不是精确一次。同一个对象可能触发两次函数。所以函数必须是幂等的——我在函数入口先查一下缩略图对象是否已存在,存在就直接返回:
def handler(event, context):
data = json.loads(event)
for record in data.get("Records", []):
bucket = record["obs"]["bucket"]["name"]
key = unquote_plus(record["obs"]["object"]["key"])
if key.endswith(".thumb.jpg"):
continue # 避免自己触发的写入再次触发
thumb_key = build_thumb_key(key)
if object_exists(bucket, thumb_key):
continue # 幂等:已经处理过
make_thumbnail(bucket, key, thumb_key)
三、第二步:函数里怎么拿凭证
这是整件事里最容易写出安全漏洞的地方。很多示例直接在函数里硬编码 AK/SK,这在测试环境看着能跑,上线就是灾难。
正确姿势是用函数委托(Agency):在 IAM 里建一个委托,授予 OBS OperateAccess 之类的最小权限策略,然后在 FunctionGraph 函数配置里绑定这个委托。函数运行时通过临时凭证访问 OBS,代码里一行 SK 都不出现:
from obs import ObsClient
# 使用函数委托获取的临时凭证
credentials = context.getUserData("credentials")
ak = context.getAccessKey()
sk = context.getSecretKey()
server = "%s.obs.%s.myhuaweicloud.com" % (bucket, region)
client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)
委托的权限一定要收窄到单个桶 + 单个前缀,而不是整个账号的 OBS 全权限。自定义策略大概长这样:
{
"Version": "1.1",
"Statement": [
{
"Effect": "Allow",
"Action": ["obs:object:GetObject", "obs:object:PutObject"],
"Resource": ["obs:*:*:object:my-album/photo_backup/v2/*"]
}
]
}
四、第三步:超时与并发,别让函数"半死"
FunctionGraph 默认超时是 3 秒,这个值做缩略图必然不够。一张 4000×3000 的原图解码 + 缩放 + 重新编码,实测要 1.5~3 秒,PNG 更慢。
我第一次跑的时候函数全部超时,日志里只有一句超时退出,什么信息都没有。后来把超时改成 30 秒,并给函数加了内存(内存和 CPU 是成比例给的,128MB 的实例跑图像处理会卡到怀疑人生,512MB 起步),成功率立刻正常。
并发这块要注意:OBS 的突发流量很容易压出几十上百个并发。默认并发限制下超出的请求会被异步重试而不是直接丢掉,但如果重试也打满,事件就真的丢了。生产环境建议:
- 给函数配置预留实例,避免冷启动拖慢首字节;
- 在函数里加一层限流降级,遇到下游超时先写入 DIS 队列缓冲,不要死等。
五、第四步:可观测性
事件驱动最大的痛点是"出问题时找不到链路"。我在函数里固定打印一条结构化日志:
logger.info(json.dumps({
"trace": context.getTraceId(),
"bucket": bucket,
"key": key,
"size": size,
"cost_ms": cost_ms,
"stage": "thumb",
}, ensure_ascii=False))
配合 LTS 日志服务的检索语法,可以直接用 key: "photo_backup/v2/user_12345/" 把某个用户的所有处理记录捞出来。trace id 是串联 OBS 事件和函数日志的唯一纽带,一定要打。
六、踩坑清单
| 现象 | 原因 | 解决 |
|---|---|---|
| 大文件上传后没有事件 | 只配了 PutObject |
补上 CompleteMultipartUpload |
| 部分对象触发两次 | OBS 事件是 at-least-once | 函数入口做幂等判断 |
| 函数全部超时 | 默认 3 秒不够 | 超时提到 30 秒,内存提到 512MB |
| 函数报 Access Denied | 委托策略没覆盖到目标前缀 | 检查策略 Resource 里的桶名和前缀 |
| 缩略图无限递归触发 | 缩略图也写在同一个前缀下 | 缩略图换个前缀,或用后缀过滤 |
七、小结
这套组合真正解决的不是"怎么生成缩略图",而是**"上传完成"这个事件的可靠传播**。一旦这个基础打通,后面想加内容审核、想加水印、想同步到另一个区域,都只是再加一个函数的事,客户端代码一行都不用改。
对比一下:客户端直连方案里,每加一个后处理需求就要发一次版;事件驱动方案里,客户端只负责传,云端各自演进。这个差别在业务迭代几次之后会非常明显。
后面打算再写一篇,把 DIS 缓冲层和失败重试队列补上,做一个能扛住流量尖峰的版本。
- 点赞
- 收藏
- 关注作者
评论(0)