华为云ModelArts实战:Notebook开发、训练作业、在线服务部署与成本控制
一、背景:为什么用ModelArts把模型做成服务
很多模型停在“本机能跑通脚本”这一步:换一台机器依赖就不齐,训练到一半中断后不知道从哪续,好不容易训练完,推理又只能在本机里手动执行,别人没法调用,空闲的开发环境还一直占着计费。
华为云ModelArts把数据准备、交互式开发、训练作业和在线部署放进同一套控制台:先在Notebook里把代码和数据路径调通,再把同样的脚本交给训练作业按规格跑完,最后把产出的模型部署成在线服务,用接口对外提供推理。它和自己在云主机里装框架不是一回事——后者环境、排队、日志和扩缩容都要自己盯,ModelArts把这些收成可重复的任务。本文按“准备工作 → Notebook开发 → 提交训练作业 → 部署在线服务 → 控制成本”的顺序实操一遍。菜单名称以控制台当前版本为准。
二、核心概念
Notebook:带预置环境的交互式开发空间,适合试数据、改代码、跑小规模验证。用完要停止,停止后开发环境不再按运行规格计费,但持久化存储仍可能保留。
训练作业:把代码、数据集和运行规格打包成一次离线任务,适合长时间、多轮次、需要独立日志和重试的训练。输入路径记为 <数据集路径>,输出路径记为 <输出路径>,代码目录记为 <代码目录>。
模型:训练完成后可登记的产物,包含模型和推理时要用的配置。不要把临时调试文件和最终模型混在同一个目录里。
在线服务:把模型部署成可调用的推理接口,地址记为 <服务地址>,调用时携带 <鉴权令牌>。在线服务按部署规格和运行时长计费,闲置时要及时下线或缩容。
自动停止:给Notebook或开发实例设置最长运行时间,避免下班后还在空转。
三、准备工作
开始前先把信息和路径写成一张表,避免作业提交后才发现读不到数据:
- 确定任务类型:图像、文本、表格还是语音,输入输出格式先固定下来;
- 把数据集放到对象存储或平台支持的数据集管理中,路径记为
<数据集路径>,校验集单独放,不要和训练集混写; - 约定输出位置
<输出路径>,模型、日志和中间检查点分开子目录,方便训练结束后只登记真正要用的文件; - 准备代码目录
<代码目录>,入口脚本写清楚如何读环境变量或命令行参数,不要在代码里写死本机路径; - 确认训练和部署要用的框架、版本以及规格,开发阶段先用较小规格;
- 账号权限要能读写上述路径、创建Notebook、训练作业和在线服务,不要把长期密钥写进代码。
数据不要直接堆在Notebook本地磁盘就当正式训练集,本地磁盘会随环境停止或重建变得不好追踪。以可重复的路径为准,Notebook只用来抽样查看和试跑。
四、用Notebook做开发调试
进入ModelArts控制台,创建Notebook:
- 填写名称,建议带项目和用途,例如 ma-nb-text-dev;
- 选择预置镜像或自定义镜像,框架版本尽量与后续训练作业一致,避免“笔记本里能跑、作业里报错”;
- 选择规格:调试用CPU或较小加速规格即可,不要一上来就占最贵的卡;
- 挂载或配置对
<数据集路径>的访问,确认能列目录、读到样本; - 打开自动停止,按实际工作时长设置,例如下班前一定会停的那段时间;
- 创建完成后进入开发界面,用小批量数据跑通读取、训练一步和保存逻辑。
调试时把超参数、路径和随机种子写进配置,而不是散落在多个单元格里。验证通过后,把可重复的脚本整理进 <代码目录>,留下一个明确的入口文件,例如 train.py,训练作业将直接调用它。Notebook里可以保留分析用的图表和临时试验,但不要让正式训练依赖某个必须手工点执行的单元格。
用完立即停止。只是关闭浏览器标签不会停止实例,计费仍会继续。第二天需要接着做时,再启动同一份环境,确认 <数据集路径> 仍然可读,再继续改代码。
五、提交训练作业
代码在Notebook里稳定跑通一小段后,就可以交给训练作业做完整训练,而不是把Notebook规格拉满、开一整夜。
创建训练作业时按下面的顺序核对:
- 选择算法来源:自定义脚本或已有算法。自定义时指定
<代码目录>和入口文件; - 配置输入,把训练集和校验集指到
<数据集路径>下的不同子路径,并在脚本里用参数读取,不要写死; - 配置输出到
<输出路径>,检查点按步数或周期保存,最终模型放到固定子目录,例如 model; - 选择规格和节点数量。先用与调试相近的规格跑一个短作业,确认日志、权限和保存路径都正确,再加大规格或轮次;
- 设置运行参数、环境变量和失败重试。敏感信息走平台提供的参数或密钥管理,不要明文写在脚本里;
- 提交后在日志里看数据是否读到、显存或内存是否够用、每个周期指标是否在写到输出目录。
常见失败原因包括:路径写错或权限不足、入口文件相对路径不一致、依赖只装在Notebook里没有反映到作业镜像、规格太小导致内存不足,以及输出目录被上次作业的文件干扰。先看日志再改规格,不要一失败就换更贵的资源。作业成功后,核对 <输出路径> 里是否有预期的模型文件和指标记录,再登记为模型,不要把中间检查点误当成发布版本。
需要做对比实验时,一次只改少量超参数,作业名称带上数据和参数摘要,方便事后对照,而不是用同一个名称反复覆盖。训练时间较长时,还要在脚本里定期把检查点写到 <输出路径>,并支持从最近一次检查点继续,而不是中断后从头再来。作业被回收或主动停止后,用同一套代码和数据路径重新提交即可。入口脚本读取路径时也用占位符风格的参数,例如:
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--data", default="<数据集路径>")
parser.add_argument("--output", default="<输出路径>")
args = parser.parse_args()
六、把模型部署为在线服务
模型登记完成后,创建在线服务:
- 选择要发布的模型版本,确认推理入口和依赖与训练时约定的格式一致;
- 填写服务名称,例如 ma-svc-text-prod,并选择部署规格、实例数量。生产先按预期并发的一小部分放量,再扩容;
- 配置健康检查和超时时间,避免慢请求占满全部工作进程;
- 确认访问方式和鉴权,调用地址记为
<服务地址>,令牌记为<鉴权令牌>,不要写进公开文档; - 部署完成后先做小流量调用,检查返回格式、耗时和错误率,再把
<服务地址>交给业务系统。
调用时把请求发到 <服务地址>,在请求头中携带 <鉴权令牌>,正文与模型约定保持一致:
{
"data": {
"text": "示例输入"
}
}
服务刚部署完成时,先用几条固定样例做回归,把耗时和返回字段记下来,作为后续改模型的对照。样例要覆盖空输入、超长输入和训练里少见的边界情况,避免一上线就被异常请求打出大量错误。如果调用超时或结果不稳定,先看服务实例是否就绪、输入字段是否与训练预处理一致、规格是否撑不住并发,再决定是加实例还是给推理代码做批处理。更新模型时走新版本灰度,不要直接覆盖正在接流量的唯一实例。服务暂时不用就要停止或下线,在线服务和Notebook一样,空转的成本通常高于一次完整训练。
需要批量离线推理时,优先用平台提供的批量任务,而不是把在线服务当成长时间扫描数据的出口,以免占满在线实例、把真正的在线请求挤掉。
七、成本控制
ModelArts的费用往往不是“训练一次”本身,而是开发环境和在线服务忘记关闭,或者用了远超当前阶段需要的规格。控制成本可以按这条线来:
- Notebook必须打开自动停止,离开前再检查一次运行状态,连续多天不用就释放,数据以
<数据集路径>和代码仓库为准; - 调试用小规格、小数据集,完整训练再升规格;对比实验先用短周期看趋势,有效果再拉长;
- 训练作业选对规格比盲目加卡更重要,显存利用率很低时,先检查批次大小和数据管道,再决定是否换规格;
- 在线服务按并发选择实例数,业务低谷缩容,活动结束及时下线,测试服务不要长期留在生产规格上;
- 输出目录定期清理无用检查点和失败作业的残留,避免对象存储费用悄悄上涨;
- 能共用的镜像和数据集不要复制多份,权限按项目收口,减少重复存放。
把“环境是否在跑、服务是否在线、存储里有哪些过期模型”做成每周核对项,比只在账单出来后找原因更有效。还可以按项目设一个简单上限:本周调试、训练和在线服务大概能用多少时长,超出就先停低优先级的测试服务。多人共用同一项目时,约定命名前缀和环境负责人,避免别人创建的Notebook一直在跑却没人认领。账单要能对应到具体作业或服务名称,否则事后很难把费用拆回去。开发和生产的规格、自动停止策略要分开,不要用同一套长期在线的高规格环境兼顾所有事情。
八、小结
ModelArts的关键不是把页面点一遍,而是三件事能够重复:在Notebook里用小数据把脚本调通、用训练作业按固定的 <数据集路径> 和 <输出路径> 跑出可登记的模型、把模型部署到 <服务地址> 并在不用时停掉。先把路径、镜像版本和规格写在一张表上,再开发、训练和发布,这样比在本机里训练更易交接,也比让开发环境整周挂着更省钱。
上线后还要关注调用耗时、错误率和实例利用率,以及模型更新时的回退版本。如果新版本指标变差,要能迅速切回上一版模型,而不是在线手工修补。发布前把模型版本、数据版本和入口脚本的对应关系写进变更记录,避免线上出问题后找不到是哪一次训练的产物。路径、地址和令牌只放在内部配置里,不要出现在公开博客或代码仓库中。
- 点赞
- 收藏
- 关注作者
评论(0)