基于华为云 FunctionGraph + OBS 构建无服务器图片自动压缩流水线
一、背景与痛点
在 Web 应用开发中,用户上传的原始图片往往体积很大——手机直出的照片动辄 5MB 以上,设计师导出的素材图更是十几 MB 起步。如果直接把原图作为 Web 展示图加载,会导致页面加载缓慢、带宽浪费严重,尤其在移动端体验极差。
传统做法是在应用服务器上做图片压缩:用户上传后,后端调用 ImageMagick 或 Pillow 进行处理,再存回存储。但这套方案有几个问题:
- 服务器资源浪费:图片压缩是 CPU 密集型操作,为了偶尔的上传压缩常驻一台服务器,成本不划算。
- 扩缩容困难:上传高峰期压缩任务堆积,低峰期服务器又闲置。
- 运维负担重:需要自己维护压缩服务的高可用、日志、重试逻辑。
华为云 FunctionGraph(函数工作流)与 OBS 的组合天然适合解决这类问题——OBS 负责存储,FunctionGraph 负责按需压缩,事件驱动、自动弹性、按量计费,无需管理任何服务器。
二、方案架构
整体架构如下:
用户上传原图 → OBS 源桶(raw-bucket)
↓
OBS 事件触发(ObjectCreated)
↓
FunctionGraph 函数(image-compressor)
↓
压缩后图片 → OBS 目标桶(compressed-bucket)
核心思路:
- 准备两个 OBS 桶:raw-bucket 存原始图片,compressed-bucket 存压缩后的图片。
- 在 raw-bucket 上配置 OBS 触发器,监听 ObjectCreated 事件。
- 当有新图片上传到 raw-bucket 时,OBS 自动触发 FunctionGraph 函数。
- 函数从 raw-bucket 下载原图,用 Pillow 压缩处理后,上传到 compressed-bucket。
整个流程无需任何常驻服务器,只有图片上传的瞬间函数才会被触发执行。
三、前置准备
3.1 创建 OBS 桶
在华为云控制台进入对象存储服务 OBS,创建两个桶:
- raw-bucket:存放用户上传的原始图片,标准存储类型即可。
- compressed-bucket:存放压缩后的图片,如果压缩图访问频繁,可以考虑低频访问存储类型以降低成本。
两个桶建议创建在同一区域(如华北-北京四),函数和桶必须同区域才能通过内网访问,避免产生公网流量费用。
3.2 准备函数代码
以下是完整的 Python 函数代码,使用 Pillow 库进行图片压缩:
import json
import os
import io
from PIL import Image
from obs import ObsClient
# 从环境变量读取配置
AK = os.environ.get('OBS_AK')
SK = os.environ.get('OBS_SK')
SERVER = os.environ.get('OBS_ENDPOINT')
RAW_BUCKET = os.environ.get('RAW_BUCKET', 'raw-bucket')
COMPRESSED_BUCKET = os.environ.get('COMPRESSED_BUCKET', 'compressed-bucket')
# 压缩参数
MAX_WIDTH = int(os.environ.get('MAX_WIDTH', '1280'))
QUALITY = int(os.environ.get('QUALITY', '85'))
obs_client = ObsClient(access_key_id=AK, secret_access_key=SK, server=SERVER)
def compress_image(image_data, max_width, quality):
"""压缩图片:限制最大宽度,按质量参数压缩"""
img = Image.open(io.BytesIO(image_data))
# 按比例缩放,只缩小不放大
if img.width > max_width:
ratio = max_width / img.width
new_size = (max_width, int(img.height * ratio))
img = img.resize(new_size, Image.LANCZOS)
# 统一转为 JPEG 格式输出
if img.mode in ('RGBA', 'P'):
img = img.convert('RGB')
output = io.BytesIO()
img.save(output, format='JPEG', quality=quality, optimize=True)
return output.getvalue()
def handler(event, context):
"""FunctionGraph 入口函数"""
# 从 OBS 触发事件中解析桶名和对象键
records = event.get('records', [])
results = []
for record in records:
bucket_name = record.get('obs', {}).get('bucket', {}).get('name')
object_key = record.get('obs', {}).get('object', {}).get('key')
if not bucket_name or not object_key:
continue
# 跳过非图片文件
supported_formats = ('.jpg', '.jpeg', '.png', '.bmp', '.webp')
if not object_key.lower().endswith(supported_formats):
context.logger.info('跳过非图片文件: ' + object_key)
continue
context.logger.info('开始处理: ' + object_key)
# 从源桶下载原图
resp = obs_client.getObject(bucket_name, object_key)
if resp.status < 300:
image_data = resp.body.read()
else:
context.logger.error('下载失败: ' + object_key)
continue
# 压缩图片
try:
compressed_data = compress_image(image_data, MAX_WIDTH, QUALITY)
except Exception as e:
context.logger.error('压缩失败: ' + object_key + ', error=' + str(e))
continue
# 生成压缩后的对象键(替换扩展名为 jpg)
base_name = os.path.splitext(object_key)[0]
compressed_key = base_name + '.jpg'
# 上传到目标桶
upload_resp = obs_client.putObject(
COMPRESSED_BUCKET, compressed_key, content=compressed_data
)
if upload_resp.status < 300:
original_size = len(image_data)
compressed_size = len(compressed_data)
ratio = (1 - compressed_size / original_size) * 100
context.logger.info(
'压缩完成: ' + object_key + ' -> ' + compressed_key +
', 原始大小: ' + str(original_size) + 'B' +
', 压缩后: ' + str(compressed_size) + 'B' +
', 压缩率: ' + str(round(ratio, 1)) + '%'
)
results.append({
'key': compressed_key,
'original_size': original_size,
'compressed_size': compressed_size
})
else:
context.logger.error('上传失败: ' + compressed_key)
return {
'statusCode': 200,
'body': json.dumps({
'processed': len(results),
'results': results
})
}
代码逻辑说明:
- compress_image 函数核心做两件事:按最大宽度等比缩放(只缩小不放大,避免小图被拉伸模糊),然后统一转为 JPEG 格式并按质量参数压缩。PNG 透明通道会被转为 RGB 白底。
- handler 是 FunctionGraph 的入口函数。OBS 触发器的事件结构在 event 的 records 字段中,每条 record 包含桶名和对象键。
- 函数会自动跳过非图片文件,避免对文本、视频等文件做无意义的处理。
- 压缩完成后打印原始大小、压缩后大小和压缩率,方便在函数日志中追踪效果。
3.3 部署函数
在华为云控制台进入函数工作流 FunctionGraph,创建函数:
- 函数名称:image-compressor
- 运行时:选择 Python 3.9
- 代码上传方式:将上述代码打包为 zip 上传(需包含 Pillow 和 obs 依赖库)
- 执行超时时间:建议设置为 60 秒(图片下载加压缩加上传通常在几秒内完成,留足余量)
- 内存配置:建议 512MB(Pillow 处理大图需要一定内存)
打包依赖库的方法:在本地创建一个目录,将函数代码放入 index.py,然后安装依赖:
pip install Pillow esdk-obs-python --target ./package
cd package
zip -r ../function.zip .
cd ..
zip function.zip index.py
上传 function.zip 即可。
3.4 配置环境变量
在函数配置页面添加环境变量:
| 变量名 | 值 | 说明 |
|---|---|---|
| OBS_AK | 你的 AK | OBS 访问密钥 |
| OBS_SK | 你的 SK | OBS 访问密钥 |
| OBS_ENDPOINT | 你的 OBS 终端节点地址 | 在 OBS 控制台桶详情页可查看 |
| RAW_BUCKET | raw-bucket | 源桶名称 |
| COMPRESSED_BUCKET | compressed-bucket | 目标桶名称 |
| MAX_WIDTH | 1280 | 压缩后最大宽度 |
| QUALITY | 85 | JPEG 压缩质量 |
3.5 配置 OBS 触发器
在函数详情页的触发器 tab 中添加 OBS 触发器:
- 桶名:raw-bucket
- 事件类型:ObjectCreated(对象创建事件,涵盖 PUT、POST、COPY 等操作)
- 前缀过滤:可留空或设置为 images 斜杠(只处理特定前缀下的对象)
- 后缀过滤:可留空(函数内部已做格式判断)
配置完成后,每次有新对象上传到 raw-bucket,OBS 都会自动触发函数执行。
四、验证测试
4.1 上传测试图片
使用 obsutil 或控制台上传一张大图到 raw-bucket:
obsutil cp ./photo_original.jpg raw-bucket:/photo_original.jpg
4.2 查看函数执行日志
在 FunctionGraph 控制台进入函数的监控页面,查看最近执行记录。日志中应出现类似输出:
开始处理: photo_original.jpg
压缩完成: photo_original.jpg -> photo_original.jpg, 原始大小: 5242880B, 压缩后: 482304B, 压缩率: 92.0%
4.3 验证压缩结果
从 compressed-bucket 下载压缩后的图片,确认体积明显减小且画质可接受:
obsutil cp compressed-bucket:/photo_original.jpg ./photo_compressed.jpg
五、进阶优化
5.1 多尺寸输出
实际业务中往往需要多种尺寸(缩略图、列表图、详情图)。修改 compress_image 函数,对同一张原图输出多个尺寸版本:
SIZE_CONFIGS = [
{'name': 'thumb', 'max_width': 200, 'quality': 80},
{'name': 'list', 'max_width': 600, 'quality': 85},
{'name': 'detail', 'max_width': 1280, 'quality': 90},
]
def compress_multi_size(image_data):
results = []
for config in SIZE_CONFIGS:
compressed = compress_image(image_data, config['max_width'], config['quality'])
results.append({
'suffix': config['name'],
'data': compressed
})
return results
上传时按尺寸后缀命名,如 photo_thumb.jpg、photo_list.jpg、photo_detail.jpg,前端根据场景选择合适尺寸加载。
5.2 错误重试与死信处理
OBS 触发器在函数执行失败时会自动重试若干次。如果重试仍失败,建议将失败记录写入另一个 OBS 桶(如 dlq-bucket)作为死信队列,后续由人工或定时任务处理。
在 handler 中增加 try-except 包裹整个处理逻辑,捕获异常后将原始事件 JSON 写入死信桶:
except Exception as e:
error_record = json.dumps({
'object_key': object_key,
'error': str(e),
'event': record
})
obs_client.putObject('dlq-bucket', 'failed/' + object_key, content=error_record)
5.3 成本估算
FunctionGraph 按请求次数和执行时长计费。假设每月上传 10000 张图片,每张压缩耗时 2 秒,内存 512MB:
- 请求次数:10000 次每月
- 执行时长:10000 乘以 2 秒等于 20000 GB 秒每月(512MB 约等于 0.5GB,实际 10000 GB 秒)
按华为云 FunctionGraph 的免费额度(每月 100 万次请求、400000 GB 秒),这个用量完全在免费额度内,实际费用为零。对比常驻一台 ECS 做压缩(每月至少几十元),成本优势非常明显。
六、总结
这个方案的核心价值在于:
- 真正的按需计算:没有上传就没有执行,没有执行就不产生费用,资源利用率接近百分之百。
- 自动弹性:上传高峰期函数实例自动扩容,低峰期自动缩容到零,无需任何人工干预。
- 零运维:不需要管理服务器操作系统、补丁、监控告警,华为云负责底层基础设施的所有运维。
- 事件解耦:上传和压缩完全异步,用户上传后立即得到响应,压缩在后台自动完成,不影响用户体验。
适用场景不限于图片压缩,同样的架构可以扩展到:文档格式转换、视频转码缩略图生成、日志文件压缩归档、CSV 数据清洗等所有「文件上传后需要处理」的场景。只要把函数中的处理逻辑替换为对应业务逻辑即可,OBS 触发加 FunctionGraph 执行的骨架完全复用。
- 点赞
- 收藏
- 关注作者
评论(0)