华为云ModelArts实战:Notebook开发、训练作业、在线服务部署与成本控制

举报
yd_235631729 发表于 2026/11/11 15:49:35 2026/11/11
【摘要】 本文介绍华为云ModelArts的核心用法:用Notebook做开发调试、提交训练作业、把模型部署为在线服务,以及减少空转产生的费用,帮助把模型从实验推进到可调用的在线接口。

一、背景:为什么用ModelArts把模型做成服务

很多模型停在“本机能跑通脚本”这一步:换一台机器依赖就不齐,训练到一半中断后不知道从哪续,好不容易训练完,推理又只能在本机里手动执行,别人没法调用,空闲的开发环境还一直占着计费。

华为云ModelArts把数据准备、交互式开发、训练作业和在线部署放进同一套控制台:先在Notebook里把代码和数据路径调通,再把同样的脚本交给训练作业按规格跑完,最后把产出的模型部署成在线服务,用接口对外提供推理。它和自己在云主机里装框架不是一回事——后者环境、排队、日志和扩缩容都要自己盯,ModelArts把这些收成可重复的任务。本文按“准备工作 → Notebook开发 → 提交训练作业 → 部署在线服务 → 控制成本”的顺序实操一遍。菜单名称以控制台当前版本为准。

二、核心概念

Notebook:带预置环境的交互式开发空间,适合试数据、改代码、跑小规模验证。用完要停止,停止后开发环境不再按运行规格计费,但持久化存储仍可能保留。

训练作业:把代码、数据集和运行规格打包成一次离线任务,适合长时间、多轮次、需要独立日志和重试的训练。输入路径记为 <数据集路径>,输出路径记为 <输出路径>,代码目录记为 <代码目录>。

模型:训练完成后可登记的产物,包含模型和推理时要用的配置。不要把临时调试文件和最终模型混在同一个目录里。

在线服务:把模型部署成可调用的推理接口,地址记为 <服务地址>,调用时携带 <鉴权令牌>。在线服务按部署规格和运行时长计费,闲置时要及时下线或缩容。

自动停止:给Notebook或开发实例设置最长运行时间,避免下班后还在空转。

三、准备工作

开始前先把信息和路径写成一张表,避免作业提交后才发现读不到数据:

  1. 确定任务类型:图像、文本、表格还是语音,输入输出格式先固定下来;
  2. 把数据集放到对象存储或平台支持的数据集管理中,路径记为 <数据集路径>,校验集单独放,不要和训练集混写;
  3. 约定输出位置 <输出路径>,模型、日志和中间检查点分开子目录,方便训练结束后只登记真正要用的文件;
  4. 准备代码目录 <代码目录>,入口脚本写清楚如何读环境变量或命令行参数,不要在代码里写死本机路径;
  5. 确认训练和部署要用的框架、版本以及规格,开发阶段先用较小规格;
  6. 账号权限要能读写上述路径、创建Notebook、训练作业和在线服务,不要把长期密钥写进代码。

数据不要直接堆在Notebook本地磁盘就当正式训练集,本地磁盘会随环境停止或重建变得不好追踪。以可重复的路径为准,Notebook只用来抽样查看和试跑。

四、用Notebook做开发调试

进入ModelArts控制台,创建Notebook:

  1. 填写名称,建议带项目和用途,例如 ma-nb-text-dev;
  2. 选择预置镜像或自定义镜像,框架版本尽量与后续训练作业一致,避免“笔记本里能跑、作业里报错”;
  3. 选择规格:调试用CPU或较小加速规格即可,不要一上来就占最贵的卡;
  4. 挂载或配置对 <数据集路径> 的访问,确认能列目录、读到样本;
  5. 打开自动停止,按实际工作时长设置,例如下班前一定会停的那段时间;
  6. 创建完成后进入开发界面,用小批量数据跑通读取、训练一步和保存逻辑。

调试时把超参数、路径和随机种子写进配置,而不是散落在多个单元格里。验证通过后,把可重复的脚本整理进 <代码目录>,留下一个明确的入口文件,例如 train.py,训练作业将直接调用它。Notebook里可以保留分析用的图表和临时试验,但不要让正式训练依赖某个必须手工点执行的单元格。

用完立即停止。只是关闭浏览器标签不会停止实例,计费仍会继续。第二天需要接着做时,再启动同一份环境,确认 <数据集路径> 仍然可读,再继续改代码。

五、提交训练作业

代码在Notebook里稳定跑通一小段后,就可以交给训练作业做完整训练,而不是把Notebook规格拉满、开一整夜。

创建训练作业时按下面的顺序核对:

  1. 选择算法来源:自定义脚本或已有算法。自定义时指定 <代码目录> 和入口文件;
  2. 配置输入,把训练集和校验集指到 <数据集路径> 下的不同子路径,并在脚本里用参数读取,不要写死;
  3. 配置输出到 <输出路径>,检查点按步数或周期保存,最终模型放到固定子目录,例如 model;
  4. 选择规格和节点数量。先用与调试相近的规格跑一个短作业,确认日志、权限和保存路径都正确,再加大规格或轮次;
  5. 设置运行参数、环境变量和失败重试。敏感信息走平台提供的参数或密钥管理,不要明文写在脚本里;
  6. 提交后在日志里看数据是否读到、显存或内存是否够用、每个周期指标是否在写到输出目录。

常见失败原因包括:路径写错或权限不足、入口文件相对路径不一致、依赖只装在Notebook里没有反映到作业镜像、规格太小导致内存不足,以及输出目录被上次作业的文件干扰。先看日志再改规格,不要一失败就换更贵的资源。作业成功后,核对 <输出路径> 里是否有预期的模型文件和指标记录,再登记为模型,不要把中间检查点误当成发布版本。

需要做对比实验时,一次只改少量超参数,作业名称带上数据和参数摘要,方便事后对照,而不是用同一个名称反复覆盖。训练时间较长时,还要在脚本里定期把检查点写到 <输出路径>,并支持从最近一次检查点继续,而不是中断后从头再来。作业被回收或主动停止后,用同一套代码和数据路径重新提交即可。入口脚本读取路径时也用占位符风格的参数,例如:

import argparse

parser = argparse.ArgumentParser()
parser.add_argument("--data", default="<数据集路径>")
parser.add_argument("--output", default="<输出路径>")
args = parser.parse_args()

六、把模型部署为在线服务

模型登记完成后,创建在线服务:

  1. 选择要发布的模型版本,确认推理入口和依赖与训练时约定的格式一致;
  2. 填写服务名称,例如 ma-svc-text-prod,并选择部署规格、实例数量。生产先按预期并发的一小部分放量,再扩容;
  3. 配置健康检查和超时时间,避免慢请求占满全部工作进程;
  4. 确认访问方式和鉴权,调用地址记为 <服务地址>,令牌记为 <鉴权令牌>,不要写进公开文档;
  5. 部署完成后先做小流量调用,检查返回格式、耗时和错误率,再把 <服务地址> 交给业务系统。

调用时把请求发到 <服务地址>,在请求头中携带 <鉴权令牌>,正文与模型约定保持一致:

{
  "data": {
    "text": "示例输入"
  }
}

服务刚部署完成时,先用几条固定样例做回归,把耗时和返回字段记下来,作为后续改模型的对照。样例要覆盖空输入、超长输入和训练里少见的边界情况,避免一上线就被异常请求打出大量错误。如果调用超时或结果不稳定,先看服务实例是否就绪、输入字段是否与训练预处理一致、规格是否撑不住并发,再决定是加实例还是给推理代码做批处理。更新模型时走新版本灰度,不要直接覆盖正在接流量的唯一实例。服务暂时不用就要停止或下线,在线服务和Notebook一样,空转的成本通常高于一次完整训练。

需要批量离线推理时,优先用平台提供的批量任务,而不是把在线服务当成长时间扫描数据的出口,以免占满在线实例、把真正的在线请求挤掉。

七、成本控制

ModelArts的费用往往不是“训练一次”本身,而是开发环境和在线服务忘记关闭,或者用了远超当前阶段需要的规格。控制成本可以按这条线来:

  1. Notebook必须打开自动停止,离开前再检查一次运行状态,连续多天不用就释放,数据以 <数据集路径> 和代码仓库为准;
  2. 调试用小规格、小数据集,完整训练再升规格;对比实验先用短周期看趋势,有效果再拉长;
  3. 训练作业选对规格比盲目加卡更重要,显存利用率很低时,先检查批次大小和数据管道,再决定是否换规格;
  4. 在线服务按并发选择实例数,业务低谷缩容,活动结束及时下线,测试服务不要长期留在生产规格上;
  5. 输出目录定期清理无用检查点和失败作业的残留,避免对象存储费用悄悄上涨;
  6. 能共用的镜像和数据集不要复制多份,权限按项目收口,减少重复存放。

把“环境是否在跑、服务是否在线、存储里有哪些过期模型”做成每周核对项,比只在账单出来后找原因更有效。还可以按项目设一个简单上限:本周调试、训练和在线服务大概能用多少时长,超出就先停低优先级的测试服务。多人共用同一项目时,约定命名前缀和环境负责人,避免别人创建的Notebook一直在跑却没人认领。账单要能对应到具体作业或服务名称,否则事后很难把费用拆回去。开发和生产的规格、自动停止策略要分开,不要用同一套长期在线的高规格环境兼顾所有事情。

八、小结

ModelArts的关键不是把页面点一遍,而是三件事能够重复:在Notebook里用小数据把脚本调通、用训练作业按固定的 <数据集路径> 和 <输出路径> 跑出可登记的模型、把模型部署到 <服务地址> 并在不用时停掉。先把路径、镜像版本和规格写在一张表上,再开发、训练和发布,这样比在本机里训练更易交接,也比让开发环境整周挂着更省钱。

上线后还要关注调用耗时、错误率和实例利用率,以及模型更新时的回退版本。如果新版本指标变差,要能迅速切回上一版模型,而不是在线手工修补。发布前把模型版本、数据版本和入口脚本的对应关系写进变更记录,避免线上出问题后找不到是哪一次训练的产物。路径、地址和令牌只放在内部配置里,不要出现在公开博客或代码仓库中。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。