基于ModelArts自动学习零代码开发深圳地标识别模型

举报
HWCloudAI 发表于 2022/12/09 15:08:30 2022/12/09
【摘要】 基于ModelArts自动学习零代码开发深圳地标识别模型一、实验内容本实验介绍如何使用华为云ModelArts的自动学习功能,实现简单的深圳地标识别应用。二、实验目标了解ModelArts的自动学习功能。学会零代码实现AI模型的开发。三、实验操作步骤1 实验准备1.1 华为云服务介绍(1)OBS服务OBS即对象存储服务(Object Storage Service),提供海量、安全、高可靠、...


一、实验内容

本实验介绍如何使用华为云ModelArts的自动学习功能,实现简单的深圳地标识别应用。

二、实验目标

  • 了解ModelArts的自动学习功能。
  • 学会零代码实现AI模型的开发。

三、实验操作步骤

1 实验准备

1.1 华为云服务介绍

1OBS服务

OBS即对象存储服务(Object Storage Service),提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据,适合企业备份/归档、视频点播、视频监控等多种数据存储场景。

2ModelArts服务

ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端--云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

问题:ModelArts的产品优势有哪些?

答案:

一站式

开“箱”即用,涵盖AI开发全流程,包含数据处理、模型开发、训练、管理、部署功能,可灵活使用其中一个或多个功能。

易上手

提供多种预置模型,开源模型想用就用。

模型超参自动优化,简单快速。

零代码开发,简单操作训练出自己的模型。

支持模型一键部署到云、边、端。

高性能

自研MoXing深度学习框架,提升算法开发效率和训练速度。

优化深度模型推理中GPU的利用率,加速云端在线推理。

可生成在Ascend芯片上运行的模型,实现高效端边推理。

灵活

支持多种主流开源框架(MindSpore、TensorFlow、Pytorch等)。

支持主流GPU和自研Ascend芯片。

支持专属资源独享使用。

支持自定义镜像满足自定义框架及算子需求。

3ModelArts服务之自动学习

面向业务开发者的ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。

当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。

1.2 注册华为云账号

在使用华为云服务之前您需要注册华为云帐号。通过此帐号,只需为使用的服务付费,即可使用所有华为云服务。

注册华为云账号参考如下链接:

https://support.huaweicloud.cn/usermanual-account/zh-cn_topic_0069252244.html

1.3 实名认证

注册成功后即可自动登录华为云,您需要完成实名认证才可以正常使用服务。

具体认证方式请参见如下链接:

https://support.huaweicloud.cn/usermanual-account/account_auth_00001.html

 

1.4 配置访问授权

在您使用自动学习、数据管理、Notebook、训练作业、模型和服务等功能过程中,ModelArts可能需要访问您的OBSSWRIEF等依赖服务,若没有授权,这些功能将不能正常使用。

完成授权配置(推荐使用委托授权)参考如下链接:

https://support.huaweicloud.cn/prepare-modelarts/modelarts_08_0007.html

1.5 获取实验数据

步骤1 点击链接: https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/codelab/2021/ModelArts/landmark-of-sz-data.zip下载数据集到本地并解压缩,解压后得到landmark-of-sz-data目录,该目录下有traintest两个目录。

 

步骤2 train表示训练数据集,包含四种深圳市地标,分别是“深圳市民中心”、“深圳湾大桥”、“华润大厦”和“莲花山邓小平雕像”,每类包含20张图片,如下图所示。


步骤3 test表示测试数据集,同样包含这四种地标,每种包含2张图片,如下图所示。


 

1.6 上传实验数据到OBS

步骤1 登录华为云官网,参考链接如下: https://www.huaweicloud.cn/?locale=zh-cn 


步骤2 右上角的控制台,进入控制台。


步骤3 在服务列表种选择对象存储服务,进入OBS控制台页面。


步骤4 点击OBS控制台页面的创建桶按钮。


步骤5 在创建桶页面,区域选择建桶”-北京四”,桶名称请自定义填写,确保桶名称在华为云上全局唯一(本实验创建的桶名称为建landmark-of-sz”,下文中所有需要填写桶名的地方,请替换为您自己创建的桶名),其它参数保持默认值即可。接着点击右下角的即可landmark-of-sz

 

步骤6 点击创建出来的桶。


 

步骤7 进入桶页面,依次左侧“对象->新建文件夹,在弹出对话框中按照命名规则填写“文件夹名称”,如“obs-data”(文件夹名称无需考虑华为云全局唯一,该文件夹稍后将用于存放数据集),再点击“确定”按钮即可完成文件夹创建。

步骤8 仍然在桶页面,再次点击“新建文件夹,在弹出对话框中按照命名规则填写“文件夹名称”,如“out” (文件夹名称无需考虑华为云全局唯一,该文件夹将作为第2节自动学习项目的数据集输出位置,下文会提到),再点击“确定”按钮即可完成文件夹创建。


步骤9点击此链接,下载自己电脑对应的“OBS Browser + ”版本(如下图所示),等待下载完成后,解压缩,找到“obs-browser-plus Setup 3.21.2.exe”程序,双击进行安装。


步骤10安装完成后,打开桌面上的“obs-browser-plus”快捷方式,登录华为云账号密码。


步骤11在打开的客户端中,进入到之前创建的“landmark-of-sz”桶,点击进入创建的obs-data文件夹,点击“上传 –> 添加文件夹“。


步骤12选中前面1.5节步骤1中解压后的landmark-of-sz-data文件夹,添加并上传,上传时间约几分钟,您可以选择左侧的“任务管理”,在“运行队列”中即可看见运行中的文件信息,当运行队列显示暂无数据,说明数据集文件已经上传成功。


上传完成后,进入到landmark-of-sz-data文件夹,数据上传完成后如下图所示:


 

2 创建图像分类自动学习项目

步骤1 回到华为云官网首页 ,参考链接如下:https://www.huaweicloud.cn/?locale=zh-cn,把鼠标依次移到“产品 -> EI企业智能 -> AI开发平台ModelArts”,点击“AI开发平台ModelArts”进入到ModelArts主页。

步骤2 点击ModelArts主页的“进入控制台”按钮进入ModelArts控制台页面。


步骤3 确保左上角的ModelArts区域为 “北京四”(如果不是“北京四”,则点击该位置的三角下拉列表,选择“华北-北京四” ),再点击ModelArts控制台页面左侧菜单的“自动学习”,点击自动学习-图像分类下的“创建项目”按钮创建实验项目。

 

步骤4 输入自定义项目名称,如landmark,选择“新建数据集”,数据集名称已经自动生成,您可以根据需要修改名称。再依次点击“数据集输入位置”和“数据集输出位置”右侧的文件夹图标,如下图所示。


步骤5 “数据集输入位置”设置为:obs://landmark-of-sz/obs-data/landmark-of-sz-data/train,“数据集输出位置”设置为:obs://landmark-of-sz/out,设置完成后,如下图所示,然后点击“创建项目”。


3 数据标注

步骤1 项目创建完成后会自动进入如下界面,点击“同步数据源”按钮等待数据同步。


步骤2 同步完成后如下图,显示“已标注72,未标注8”。


步骤3    点击未标注选项,对未标注的图片进行手动标注。

 
步骤4 如下图所示,是对图片进行手动标注的方法。

勾选华润大厦的图片,然后在右侧的标签名中输入华润大厦

勾选勾选市民中心的图片,然后在右侧的标签名中输入市民中心


勾选莲花山邓小平雕像的图片,然后在右侧的标签名中输入莲花山邓小平雕像


勾选深圳湾大桥的图片,然后在右侧的标签名中输入深圳湾大桥


4 自动学习训练和部署测试

步骤1 将所有数据标注完成,点击页面的“开始训练”->“下一步”->“提交”即可开始自动训练。计算规格有“自动学习免费规格(GPU)”和“增强计算型1实例-自动学习(GPU)”可选,前者属于免费规格,后者属于收费规格,选择免费规格可能会有资源排队情况,如遇排队,可选择继续等待,也可改成使用收费规格,本实验选择“自动学习免费规格(GPU)”。



步骤2 训练完成后,点击“部署”,计算节点规格有三种可选,如下图所示,“自动学习免费规格(CPU)”是免费规格,选择它有可能出现资源排队情况,如遇排队,可选择继续等待,也可改成使用收费规格,“增强计算型3实例-自动学习(CPU)”是收费的CPU规格,“增强计算型2实例-自动学习(GPU)”是收费的GPU规格,比CPU规格更快但收费也更贵。本实验选择“自动学习免费规格(CPU)”,然后勾选“我已阅读并同意以上内容”,点击“下一步”à“提交”按钮即可部署得到一个在线服务,部署耗时约2分钟。


步骤3 等待服务状态变成“运行中”,点击“上传”按钮,上传3.4节下载的数据集中test目录下的图片,“打开”。


步骤4 点击预测按钮进行预测。


步骤5 预测结果如下图所示。


步骤6 重复以上步骤,检测test目录中的其他图片,结果如下所示。

5 释放资源

5.1 删除自动学习项目

步骤1 点击下图中的“停止”->“确定”按钮即可停止本在线服务。


 

步骤2 返回自动学习


步骤3 删除


 

步骤4 确定


5.2 删除OBS中的资源

步骤1 鼠标移动到左上角服务列表,选择对象存储服务OBS”进入对象存储服务控制台。


 

步骤2 之前创建的桶并进入。


 

步骤3 找到并删除对象。


步骤4 “


 

步骤5 对象存储,返回对象存储页面。


 

步骤6 “删除


步骤7 “


至此,本实验完成。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。