从一张原图到三档产物华为云OBS + FunctionGraph 构建无服务器图片处理流水线

举报
yd_224417480 发表于 2026/11/14 01:01:25 2026/11/14
【摘要】 一、先定方案:三条路,各自的代价把图片处理放在哪里,本质是在「运维成本、格式自由度、冷启动延迟」三者之间做取舍。先把三条常见路线摆在同一张表上,后面所有设计都是这张表推导出来的结果。表 1 三条图片处理路线的取舍维度自建 ECS + 图片服务OBS 原生图片处理OBS + FunctionGraph(本文)运维负担需要进程守护、机器扩容、依赖打补丁零运维零运维,只维护函数代码格式与算法自由度...

一、先定方案:三条路,各自的代价

把图片处理放在哪里,本质是在「运维成本、格式自由度、冷启动延迟」三者之间做取舍。先把三条常见路线摆在同一张表上,后面所有设计都是这张表推导出来的结果。

表 1 三条图片处理路线的取舍

维度

自建 ECS + 图片服务

OBS 原生图片处理

OBS + FunctionGraph(本文)

运维负担

需要进程守护、机器扩容、依赖打补丁

零运维

零运维,只维护函数代码

格式与算法自由度

完全自由(ImageMagick / libvips 全量)

受限,以缩放、裁剪、水印、格式转换为限

完全自由(Pillow / OpenCV 均可)

延迟特征

常驻进程,首字节最快

边缘处理,通常毫秒级

热启动 2~3 s,冷启动额外 2~6 s

计费方式

包年包月或按小时

按处理次数与流量

按调用次数 + 执行时长(GB·秒)

适合场景

超高并发、强定制、已有机器

只做尺寸变换的标准场景

规则常变、流量波峰明显、要写业务逻辑


选第三条的理由很直接:需求里包含「按 EXIF 方向纠正」「WebP 与 JPEG 双格式」「体积超过阈值时二次压缩」这类会持续变化的规则,OBS 原生能力覆盖不到;而流量曲线是白天高、凌晨接近零,常驻机器有大量空转。函数计算按调用计费,规则改动只涉及一次代码发布。

二、总体架构

整条流水线只有两个存储桶、一个函数、一个触发器,数据流是单向的。先把图看明白,后面每一步都能在图上找到位置。

图中编号与第三章之后的步骤一一对应:① 预签名直传 ② 事件通知 ③ 回写产物 ④ 委托授权 ⑤ 日志 ⑥ CDN 分发。

四条设计原则决定了这张图的样子:

▪ 源桶与目标桶分开。若函数把产物写回同一个桶,新对象又会触发一次事件,形成自激循环。物理隔离比在代码里判断前缀更可靠。

▪ 触发器只监听源桶的 ObjectCreated,事件通道异步投递,上传方拿到 200 OK 与函数执行完成解耦。

▪ 函数用 IAM 委托换取临时密钥,代码里始终保持零长期密钥。

▪ 产物 key 保持与原图相同的相对路径结构,前端只要替换前缀就能拼出地址。

三、准备:桶、目录、权限

3.1 两个桶与目录约定

表 2 存储桶规划

桶名

用途

区域

访问策略

生命周期

obs-demo-src

存放原图,只写不读

cn-north-4

私有

90 天后转低频

obs-demo-thumb

存放三档产物,供 CDN 回源

cn-north-4

私有 + CDN 回源授权

永久


两个桶必须同区域。函数与桶跨区域时,GetObject 走公网,单次读取 4 MB 的耗时从 30 ms 量级涨到 200 ms 以上,还会产生公网流出流量费。

产物目录统一为 thumbs/{档位}/{文件名},例如原图 photos/2026/11/a.jpg 对应产物 thumbs/medium/a.jpg。去掉日期层级是有意为之:CDN 的缓存键越短越稳定,缩略图本体直接平铺,按日期归档的收益为零。

3.2 委托与最小权限

在 IAM 控制台创建委托 fg-obs-delegation,委托对象选「云服务 → 函数工作流 FunctionGraph」,授予自定义策略 obs-image-rw,只包含下面四条 action:

{

"Version": "1.1",

"Statement": [

{ "Effect": "Allow",

"Action": ["obs:object:GetObject", "obs:object:PutObject",

"obs:object:GetObjectVersion"],

"Resource": ["obs:*:*:object:obs-demo-src/*",

"obs:*:*:object:obs-demo-thumb/*"] },

{ "Effect": "Allow",

"Action": ["obs:bucket:ListBucket"],

"Resource": ["obs:*:*:bucket:obs-demo-src"] }

]

}

策略里刻意剔除 obs:bucket:DeleteBucket、obs:object:DeleteObject 这类动作。函数只需要读源桶、写目标桶,多出来的权限在出事故时会放大损失,例如一次误触发把整个前缀清空。

3.3 依赖包:Pillow 与 OBS SDK 的坑点

FunctionGraph 的 Python 3.9 运行时自带标准库与少量常用库,图片处理库与 OBS SDK 都需要随代码打包。打包的核心要求只有一条:wheel 的平台标签要与运行时一致。

▪ Pillow 选 cp39-cp39-manylinux_2_28_x86_64(或 manylinux2014 版本),体积约 4 MB。

▪ esdk-obs-python 是纯 Python 包,直接 pip download 即可取到 whl。

▪ 在本地建空目录,执行 pip download -d . -r requirements.txt --platform manylinux2014_x86_64 --python-version 39 --only-binary=:all:,再把 whl 解压进代码根目录。

很多「cannot import name _imaging」的报错都来自同一原因:在 macOS 或 ARM 机器上用 pip 直接下载,拿回的是本地平台的二进制。打包时显式指定 platform 参数,这个问题从源头消失。

# 目录结构(压缩成 zip 上传)

image-resize/

├── index.py # 入口文件,函数入口为 index.handler

├── requirements.txt

└── lib/python3.9/site-packages/

├── PIL/ # Pillow

└── obs/ # OBS SDK

四、函数实现:从事件到三档产物

函数按「解析事件 → 读原图 → 纠正方向 → 逐档生成 → 幂等写回 → 汇总日志」六段式组织。下面这份代码约 90 行,是可直接运行的完整版本,注释标注了每一段对应的设计意图。

# -*- coding: utf-8 -*-

import io, os, time, urllib.parse, logging

from obs import ObsClient

from PIL import Image, ImageOps

logger = logging.getLogger()

logger.setLevel(logging.INFO)

OBS_SERVER = os.environ.get("OBS_SERVER", "https://obs.cn-north-4.myhuaweicloud.com")

DST_BUCKET = os.environ.get("DST_BUCKET", "obs-demo-thumb")

SRC_PREFIX = os.environ.get("SRC_PREFIX", "photos/")

MAX_SIDE = int(os.environ.get("MAX_SIDE", 6000))

# 档位: (目录名, 长边像素, 输出格式, 质量)

TIERS = [

("thumb", 320, "JPEG", 82),

("medium", 1024, "JPEG", 85),

("webp", 1280, "WEBP", 78),

]

def _client(context):

"""用函数委托换取临时密钥,全程零长期 AK/SK。"""

return ObsClient(

access_key_id=context.getAccessKey(),

secret_access_key=context.getSecretKey(),

server=OBS_SERVER,

security_token=context.getSecurityToken(),

connection_timeout=8,

max_retry_count=2,

)

def _records(event):

"""事件里可能出现多条 Record,逐条处理即天然支持批量上传。"""

for r in event.get("Records", []):

s3 = r.get("s3", {})

bucket = s3.get("bucket", {}).get("name")

key = urllib.parse.unquote_plus(s3.get("object", {}).get("key", ""))

if bucket and key:

yield bucket, key

def _resize(im, side):

w, h = im.size

if max(w, h) <= side:

return im.copy()

if w >= h:

return im.resize((side, round(h * side / w)), Image.LANCZOS)

return im.resize((round(w * side / h), side), Image.LANCZOS)

def _encode(im, fmt, quality):

buf = io.BytesIO()

if fmt == "WEBP":

im.save(buf, "WEBP", quality=quality, method=5)

else:

im.save(buf, "JPEG", quality=quality, optimize=True, progressive=True)

buf.seek(0)

return buf

def handler(event, context):

t0 = time.time()

client = _client(context)

done, skip, failed = 0, 0, []

for src_bucket, src_key in _records(event):

# 防御:产物前缀与目标桶一律跳过,避免自激循环

if src_bucket == DST_BUCKET or src_key.startswith("thumbs/"):

logger.info("skip key=%s/%s", src_bucket, src_key)

continue

try:

resp = client.getObject(src_bucket, src_key, loadStreamInMemory=True)

if resp.status >= 300:

raise RuntimeError("get %s/%s status=%s"

% (src_bucket, src_key, resp.status))

raw = resp.body.buffer

with Image.open(io.BytesIO(raw)) as im:

if max(im.size) > MAX_SIDE:

logger.warning("oversize key=%s size=%s", src_key, im.size)

im.thumbnail((MAX_SIDE, MAX_SIDE), Image.LANCZOS)

im = ImageOps.exif_transpose(im) # 手机竖拍方向纠正

im = im.convert("RGB") if im.mode in ("P", "CMYK", "L") else im

stem = src_key.rsplit("/", 1)[-1].rsplit(".", 1)[0]

for tier, side, fmt, q in TIERS:

ext = "webp" if fmt == "WEBP" else "jpg"

dst_key = "thumbs/%s/%s.%s" % (tier, stem, ext)

# 幂等:事件至少一次投递,先探针再写入

if client.headObject(DST_BUCKET, dst_key).status == 200:

skip += 1

continue

buf = _encode(_resize(im, side), fmt, q)

ctype = "image/webp" if fmt == "WEBP" else "image/jpeg"

r = client.putObject(

DST_BUCKET, dst_key, buf,

headers={"Content-Type": ctype,

"Cache-Control": "public, max-age=2592000"})

if r.status >= 300:

raise RuntimeError("put %s status=%s" % (dst_key, r.status))

logger.info("tier=%s key=%s bytes=%d",

tier, dst_key, buf.getbuffer().nbytes)

done += 1

except Exception:

logger.exception("failed key=%s/%s", src_bucket, src_key)

failed.append(src_key)

cost = int((time.time() - t0) * 1000)

logger.info("summary done=%d skip=%d failed=%d cost=%dms",

done, skip, len(failed), cost)

if failed:

# 抛出异常交给触发器重试,单条失败不影响其它记录

raise RuntimeError("partial failure: %s" % ",".join(failed))

return {"done": done, "skip": skip, "cost_ms": cost}

4.1 事件结构:先看清字段再写解析

OBS 触发器投递给函数的事件体是一个 JSON 对象,最常用的三个字段是 s3.bucket.name、s3.object.key 与 eventName。key 在传输过程里做过 URL 编码,包含中文、空格或加号的对象名必须过一次 unquote_plus,否则 GetObject 会拿到一个带 % 的假路径,直接返回 404。

{

"Records": [{

"eventName": "ObjectCreated:Put",

"eventTime": "2026-11-14T02:11:07.412Z",

"s3": {

"bucket": { "name": "obs-demo-src", "arn": "arn:aws:s3:::obs-demo-src" },

"object": { "key": "photos/2026/11/%E5%B1%B1%E8%84%8A.jpg",

"size": 5032184, "eTag": "9c1f...", "sequencer": "0000..." }

}

}]

}

4.2 幂等:把重复投递当成常态

事件通道是「至少一次」语义,同一次上传在网络抖动时可能出现两条 Record;前端重传同一个文件名同样会触发第二条。所以在写每个档位之前先做一次 headObject 探测:对象已存在就计入 skip,跳过重复编码。这一步的成本是一次 HEAD 请求(约 1 ms),换来的是整个流水线的可重入性。

4.3 方向纠正与缩放策略

手机直出照片在 EXIF 里记录方向标记,像素本身往往是横躺的。直接按像素缩放,竖拍的人像会变成侧躺。ImageOps.exif_transpose 会读取 Orientation 标签并做物理旋转,这一步必须在缩放之前执行。

缩放用长边约束而不是固定宽高:竖图与横图在产品里共用同一套 CSS 容器,按长边等比缩放可以让两种方向占据相同的视觉面积,前端也不需要再用 object-fit 二次裁切。

4.4 三档参数的来历

表 3 三档产物参数

档位

长边像素

格式

质量

典型体积

使用位置

thumb

320

JPEG

82

20~35 KB

列表页、消息卡片

medium

1024

JPEG

85

150~260 KB

详情页首屏、分享图

webp

1280

WebP

78

80~130 KB

现代浏览器主图


质量参数用 82 / 85 / 78 而非统一 90,是压缩比与观感的折中:JPEG 在 85 附近进入平台区,再往上加 5 个点体积涨四成,肉眼对比几乎看不出差别;WebP 的 78 已经相当于 JPEG 的 88 左右。

五、触发器配置:让事件精准落到函数上

在函数详情页添加「OBS 触发器」,四个参数决定它是否按预期工作:

表 4 OBS 触发器参数

参数

取值

说明

事件源

OBS

选择与函数同区域的源桶

事件类型

ObjectCreated:Put / Post / Copy

上传、表单上传、复制三类创建动作都覆盖;删改事件在这里无意义

前缀(可选)

photos/

只处理原图目录,日志与临时文件天然隔离

后缀(可选)

jpg / jpeg / png / heic

按扩展名过滤,减少无效调用

重试策略

开启,最多 3 次

函数抛异常的记录进入重试队列,间隔指数退避


时序图里第 ④ 步是排障时最容易误判的一环:事件投递与函数执行发生在两个独立系统,上传返回 200 OK 只代表对象已落盘,函数是否完成要看 LTS 日志或函数监控面板。

5.1 前缀过滤与自激循环

前缀写成 photos/ 有两个好处:日志、失败备份等目录放在桶根下时,它们触发的事件被自然挡在触发器之外;排查时也能一眼看出哪些对象属于「原图集」。

有人图省事把产物写回同一个桶,靠代码判断 key 是否以 thumbs/ 开头来防循环。这层防御在代码里保留(本文实现里就有),但物理上分桶才是根本解法——一次规则调整、一次前缀改错,都可能让循环重新出现,而分桶让这种可能彻底消失。

# 代码里的双保险:桶名与前缀同时判断

if src_bucket == DST_BUCKET or src_key.startswith("thumbs/"):

logger.info("skip key=%s/%s", src_bucket, src_key)

continue

六、验证:三步确认链路真的通了

部署完成后按顺序验证,任何一步失败都能定位到具体环节,比在日志里翻找高效得多。

6.1 上传一张带方向信息的照片

从手机相册取一张竖拍照片,控制台上传到 photos/ 目录。上传完成后立刻打开目标桶的 thumbs/,三档对象应当在 1~3 秒内出现。目标桶为空说明事件链路停在 ③ 之前:先查触发器是否启用,再查桶名与区域是否与函数一致。

6.2 读日志确认三档都写过

在函数详情页的「监控 → 日志」里筛选 summary 关键字,正常记录长这样:

2026-11-14 02:11:09 INFO tier=thumb key=thumbs/thumb/山脊.jpg bytes=27418

2026-11-14 02:11:10 INFO tier=medium key=thumbs/medium/山脊.jpg bytes=214876

2026-11-14 02:11:11 INFO tier=webp key=thumbs/webp/山脊.webp bytes=102311

2026-11-14 02:11:11 INFO summary done=3 skip=0 failed=0 cost=2417ms

6.3 重复上传同一对象,验证幂等

把同一个文件再传一次。第二次的日志应当是 done=0 skip=3 failed=0,目标桶里对象的 LastModified 保持原值。这一步用来确认:即便投递重复,幂等判断也把重复编码与覆盖挡在了门外。

6.4 抽查方向与配色

做一张原图与产物的并排对比图,重点看三处:竖图方向是否正确、红色区块是否偏色(CMYK 与 sRGB 转换的常见偏差)、深色区域是否有明显的块状噪点(质量参数偏低的典型表现)。这三处过关,绝大多数场景就够用了。

七、性能与成本:把函数规格算清楚

函数的内存档位直接决定 CPU 份额与单价。同一个函数在多种内存规格下处理同一张 4032×3024 的 JPEG,耗时差异相当明显:

表 5 内存档位选择

内存

单次处理耗时

冷启动

结论

128 MB

12.6 s

3.1 s

Pillow 解码大图时内存吃紧,耗时随图片增大迅速恶化

256 MB

5.9 s

3.4 s

可用,但批量上传时容易触及 30 s 超时上限

512 MB

2.7 s

4.0 s

推荐档位,3 档产物稳定在 3 s 内完成

1024 MB

2.4 s

5.8 s

耗时提升有限,冷启动代价反而更高,适合超大图场景


512 MB 是这条流水线的甜点:处理耗时压到 3 秒内,冷启动成本可控,单价与 256 MB 的差距被执行时长缩短抵消掉大半。把超时时间设为 30 秒,留出 10 倍余量应对突发的大文件,同时避免异常情况下长时间占用配额。

7.1 成本量级估算

表 6 成本构成(单价以官网价格计算器为准)

计费项

口径

10 万张/月估算

函数调用

按请求次数计费

10 万次 × 单价,量级在几元

函数执行

按 GB·秒计费(内存 × 时长)

0.5 GB × 3 s × 10 万次 = 15 万 GB·秒

OBS 存储

标准存储按 GB·月

原图 40 GB + 产物 25 GB ≈ 65 GB

OBS 请求

PUT / HEAD / GET 分别计价

推理:40 万次写 + 30 万次 HEAD

CDN 流量

按流出流量计费

取决于命中率,命中 90% 时回源量仅为十分之一


横向对比常驻方案:一台 2 核 4 GB 的云服务器月费通常在百元量级,而函数侧在 10 万张/月的量级上多数情况低于这个数;真正的分水岭是流量曲线的形状——波峰越尖、夜间越空,函数方案越划算。

7.2 三个降本动作

▪ 产物加 Cache-Control: public, max-age=2592000。CDN 命中率上去后,回源请求与流出流量同步下降。

▪ 源桶配生命周期:90 天转低频存储,180 天转归档。原图只在重新生成产物时需要,冷数据放低频层是纯收益。

▪ HEIC 等特殊格式在上传端转换。函数运行时里解码 HEIC 需要额外依赖,把这一步挪到客户端能同时省下体积与耗时。

八、九个坑:现场记录与处理

以下九条按出现频率排序,每条给出「现象 → 根因 → 处理」,可以当作上线前的自查清单。

坑 1 key 带 %E5%B1%B1,GetObject 报 404

现象:日志里 key 是 URL 编码串,目标桶空空。根因:事件体里的 object.key 经过编码,中文、空格、加号都会变形。处理:解析时统一 urllib.parse.unquote_plus,并在日志里同时打印原始 key 与解码后 key,排查时一眼分明。

坑 2 产物写回同桶,函数被反复触发

现象:函数调用量在几分钟内暴涨,账单异常。根因:写入动作本身产生 ObjectCreated 事件,再次触发函数,每轮再写一次,形成指数增长。处理:产物桶单独创建;代码里同时判断桶名与 thumbs/ 前缀,两层拦截。

坑 3 冷启动把首屏拖到 6 秒

现象:每天第一批上传的产物延迟明显,之后恢复正常。根因:函数实例在空闲后回收,首次调用要拉代码包、初始化解释器与依赖。处理:把依赖精简到 Pillow + OBS SDK 两个包;对热点时段开启预留实例;前端在上传后先显示本地预览,产物就绪后再替换。

坑 4 cannot import name _imaging

现象:本地跑得好好的,部署后一调用就 ImportError。根因:wheel 平台标签与方法运行时不一致,例如在 ARM 机器或 macOS 上下载了本地二进制。处理:pip download 时显式指定 --platform 与 --python-version,上传前用 unzip -l 检查 PIL/.libs 下的 .so 是否为 x86_64。

坑 5 headObject 返回 404 被当成异常

现象:日志里全是 failed,却没有真实的写入失败。根因:对象不存在时 HEAD 返回 404,某些封装层会把它包装成异常。处理:判断 resp.status 而不是依赖 try/except;把 404 视为「对象尚不存在,可以写入」的正常分支。

坑 6 EXIF 方向标记丢失,人像侧躺

现象:手机竖拍照片的产物被旋转 90°。根因:缩放前没有处理 Orientation 标签,或者中途用 convert() 把 EXIF 丢掉了。处理:读取后立刻 exif_transpose,再转色彩模式;顺序颠倒会让旋转失效。

坑 7 超大图触发 DecompressionBombError

现象:个别专业相机照片一进函数就抛异常。根因:Pillow 对超过约 8900 万像素的图片默认抛保护性错误。处理:先判断尺寸,超过阈值就 thumbnail 到安全范围再处理;确有需求时显式调整 Image.MAX_IMAGE_PIXELS,同时把函数内存提到 1024 MB。

坑 8 CMYK 图输出后整体发灰

现象:印刷来源的图片产物偏暗偏灰。根因:CMYK 直接保存成 JPEG,色彩空间没有转换。处理:convert('RGB') 显式转 sRGB;观察红色区块与肤色区块是否还原,这两处对偏色最敏感。

坑 9 日志里塞了二进制,LTS 检索卡顿

现象:函数日志面板打开极慢,按关键字搜不到内容。根因:调试时把图片字节流或整个 event 打印出来。处理:只打印结构化短字段(key、档位、字节数、耗时),event 只在调试期打印前 300 字符。

九、按需扩展:往流水线里加能力

9.1 加水印

在 _resize 之后、_encode 之前插入一段绘制逻辑即可。文字水印建议用半透明白字 + 轻描边,位置固定但随图片宽度等比缩放,避免小图上水印占比过大:

from PIL import ImageDraw, ImageFont

def add_mark(im, text="@demo"):

im = im.convert("RGBA")

layer = Image.new("RGBA", im.size, (0, 0, 0, 0))

d = ImageDraw.Draw(layer)

size = max(14, im.size[0] // 40)

font = ImageFont.truetype("/opt/fonts/NotoSansCJK-Regular.ttc", size)

w, h = d.textbbox((0, 0), text, font=font)[2:]

x, y = im.size[0] - w - size, im.size[1] - h - size

d.text((x, y), text, font=font, fill=(255, 255, 255, 150),

stroke_width=max(1, size // 16), stroke_fill=(0, 0, 0, 90))

return Image.alpha_composite(im, layer).convert("RGB")

9.2 按内容打标

把同一份原图同时送一路给图像识别服务,返回的标签写进对象元数据(x-obs-meta-tags),前端即可在不改代码的前提下做筛选。识别调用放在函数末尾,失败只记日志、不回滚图片产物——图片链路与打标链路分开成败,是这类混合流水线的基本原则。

9.3 换成更快的解码器

处理 4000 万像素以上的专业图片时,libvips 的流式解码比 Pillow 快 3~5 倍,内存占用也更低。它需要在函数里预置 .so 并设置 LD_LIBRARY_PATH,适合有明确大图需求的场景,普通社交图片用 Pillow 足够。

十、收尾:这套结构的可复制性

把整篇文章压缩成四句话:源桶只进不出,目标桶只出不进;函数用临时密钥、按长边缩放、写前先探针;触发器按前缀后缀过滤,异常交给重试;慢的地方用预留实例补,贵的地方用生命周期与缓存降。

这套结构换个对象就能复用:视频抽帧写 thumbs/{ts}.jpg、文档转 PDF 存 docs/、CSV 转 Parquet 存 table/——事件源、函数骨架、幂等策略、日志格式全部一致,变的只是函数体内那 30 行处理逻辑。

下一步可以做的两件事:给产物加一张比对表(原图 MD5 → 产物 key),让重复上传直接短路;把函数改成「事件批量处理」,一次拉取 10 条 Record 合并处理,调用次数与冷启动概率同步下降。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。