【云驻共创】零基础玩转AI,ModelArts全搞定

举报
龙腾九州 发表于 2023/10/19 23:37:51 2023/10/19
【摘要】 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。本文主要介绍零基础玩转AI,使用ModelArts全搞定。

ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。本文主要介绍零基础玩转AI,使用ModelArts全搞定

一、AI开发的挑战与难点

众所周知,人工智能是一种新的通用目的技术(GPT),横跨整个经济的多种用途,其拥有巨大的技术性互补和溢出效应。

如今,AI已经进入实用阶段,但AI落地存在两难两缺。AI开发难:算法更新快,选择难、调优难;AI行业落地难:数据获取难,行业知识沉淀难,知识计算难AI算力稀缺AI模型训练花费不菲AI人才短缺AI人才严重不足,分布不均

二、ModelArts总结架构

2.1 华为云EI:全全场景产品&服务,助力千行百业智能升级

为了顺应时代的趋势和结合全球AI市场,华为自主研发了ModelArtsModelArts是面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级。

2.2 ModelArts架构简介

整体上看,ModelArts面向人群可分两大部分,面向开发者和面向企业用户。它有以下的特点:

、全流程、全场景

软硬结合优化方案

提供端到端AI开发体验

端边云联合开发、部署

统一管理、统一调度

支持主流 (X86、GPU)和自 (鲲鹏、异腾)芯片

支持万节点计算集群管理

支持资源秒级调度,按斋使用训练任务性能提升30%

支持业界主流和自引擎,实现零成本迁移

主流引擎: TensorFlowPyTorchMXNextCaffe等

引擎: MindSporeMoXing

支持自定义

提供多维度功能特性,满足各类用户

初学:自动学习、预置算法、工程模板等,降低AI开发难度

深度:数据增强、模型诊断、联邦学习等,提升AI开发效率

算法开发: Notebook Colab (云上),PyCharm ToolKit (下)

灵活能力组合,Know-how有效复用

通过Workflow组合多种能力,固化复流程,使ML可迭代(Continuous Training)

多角色协同开发各司其职,让算法工程师可以发布生产级AI应用

2.3 基于内置大模型+WorkFlow降低端到端AI开发门槛

了解完ModelArts架构后,我们来探讨下大模型。大模型应对AI应用碎片化趋势,大模型成为AI领域开发新范式。

2.4 华为云盘古大模型

大模型是新一轮AI发展的核心,其已在推进产业智能化升级中已表现出巨大潜力,并将在未来三年里形成风起云涌之势。华为云于2021年正式发布了盘古基础大模型,包括CV计算机视觉大模型、NLP自然语言处理大模型和科学计算大模型等。

2.5 盘古CV大模型

以海量图片 (10亿+),视频信号 (>10T)为输入,利用无监督训练策略对海量知识进行归纳抽取训练得到的模型,具备强大视觉表征能力。视觉预训练大模型+细分场景微调,可以极大减少开发成本以及调试代价。

2.6 多模态任务型大模型覆盖4个典型应用场景,让创作更加多元化

多模态任务型大模型覆盖4个典型应用场景:文生图,图生图,图片编辑,概念注入图像生成。

2.7 盘古气象大模型-3D高分辨率AI气象预报方法

2.8 华为云盘古气象大模型,大幅提升气象预测速度与精度

气象大模型为例,华为盘古气象大模型核心价值如下:

可在10秒内给出未来七天的天气预测结果,这比传统天气预报提速10000倍以上

可实现20公里范围内、小时级、13层最高精度气象预报,如台风生成时间与移动轨迹的预测准确率达85%以上

将应用于航空/航天、海运、农业、交通出行、新能源等行业产生更多价值。

三、端到端AI开发流程

3.1 端到端AI开发流程

端到端AI开发流程包含:开发调试,模型训练,模型评估,服务测试,在线服务,ML工作流,服务监控,服务管理。

3.2 端到端AI开发流程——算法开发

代码开发与调测。本地IDE+ModelArts插件远程开发能力。贴近开发人员使用习惯

云上开发环境,包含AI计算资源,云上存储,预制AI引擎

运行环境自定义。将开发环境直接保存成为镜像,供训练、推理使用

3.3 端到端AI开发流程-模型训练

平台:具备一定自愈能力,未知错误对于用户透明化,训练调优效率提升2倍以上

日志:支持实时日志,支持基于持久存储的历史日志上传、下载(包含批量下载)、预览、搜索(基本功能)

容错:支持10余种训练前的预检查工具,支持作业训练中自动重试

3.4 端到端AI开发流程——模型部署

统一管理

支持多厂商多框架多功能模型统一纳管

部署支持高并发、低延时访问,并支持弹性伸缩灰度发布、滚动升级

灵活部署

支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备

大模型在线推理及模型秒级快速更新,适配快速迭代的业务场景

性能提升

通过自推理框架,屏蔽底层软硬件差异,提升推理运行性能

迭代式模型更新

支持数据采集/难例挖掘,自动识别难例,快速适应数据变化

3.5 端到端AI开发流程一一服务测试

3.6 端到端AI开发流程-工作流构建

开发

1. 用户体验:面向开发者,提供Python SDK低代码编排体验,支持本地调试能力,实验记录管理;

2. 基于DevOps原则和实践,应用于AI开发过程中,提升AI应用开发效率;更快的模型实验和开发,更快的将模型部署到生产;

3. 易于复用及二次开发:通过组件和Workflow复用及二次开发,快速创建端到端解决方案,而无需每次重建。

运行

1.可视化操作界面,低门槛使用;

2.嵌入AI能力工作流,可自主更新模型;

3. 多样评估可视化,帮助理解模型效果;

4. 面向行业的AI Gallery用例库。

3.7 端到端AI开发流程-服务管理

3.8 零代码AI开发使能行业应用(智慧零售)

华为云智慧访销解决方案,实现智慧新零售。

3.9 零代码AI开发使能行业应用 (工业质检)

华为云声音识别方案,通过刀具状态识别算法实现刀具使用效率提升

某客户是目前中国乘用车转向系统业务规模最大、市场占有率最高、集开发制造为一体的高新技术企业,主要从事汽车转向系统及关键零部件的开发、生产、组装和销售,客户涵盖大众、通用、吉利、上汽乘用车等逾40家整车厂。

3.10 零代码AI开发使能行业应用 (工业字符识别)

华为云智能水表识别系统,开启智慧水新科技大门Al的高速发展,冲击了许多传统行业,为了适应时代潮流、节省人力成本、加快智能化、数字化转型,智慧水进入新时代

客户需求:1. 表盘多要素识别;2. 自主训练适配多种表盘样式;3. 对每个要素识别精度高。针对客户需求,相应有以下的解决方案:1.协助户对水表数据合理分类;2.算法定制,仅针对已知数据集范围承诺精度3.workflow定制开发,使能客户自主训练,算法可复制拓展

四、案例实操

接着,会进行下案例实操。

4.1 AI Gallery

首先,我们介绍下AI Gallery,它是华为云 AI 知识& 实训社区,助你从0到1成为 AI 开发达人!

4.2 持续沉淀AI领域的知识和经验

4.3 案例实操

具体实践:使用AIGallery的订阅算法实现花卉识别,按照下面链接即可详细进行操作:https://support.huaweicloud.cn/bestpractice-modelarts/modelarts 10 0025.html

综上所述,我们主要介绍了4点内容:1.AI开发的挑战与难点2.ModelArts总结架构3.端到端AI开发流程4.案例实操。

本文参与华为云社区【内容共创】活动第24期。

任务232023华为开发者大赛 · 大赛大说系列直播: 零基础玩转AI,ModelArts全搞定

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。