华为云ModelArts的高效识别--ModelArts智能数据标注提升70%效率
云服务、API、SDK,调试,查看,我都行
阅读短文您可以学习到:人工智能AI之ModelArts的训练、识别、分析、分类
1 Classroom和Toolkit的关系
1.1 Classroom的简介
classroom是基于华为云的云上软件教学服务,支持初级开发者和高校师生实现备课、上课、作业、考试、实验、实训等全教学流程的线上教学,提供多类习题自动判题、企业级DevOps实训、免费在线习题库等众多高级特性辅助进行数字化教学转型。
1.2 Toolkit插件之华为云API实战课程
2 IntelliJ IDEA 之API插件介绍
API插件支持 VS Code IDE、IntelliJ IDEA等平台、以及华为云自研 CodeArts IDE,基于华为云服务提供的能力,帮助开发者更高效、便捷的搭建应用。API插件关联华为云服务下的 API Explorer、DevStar、CodeLabs、SDK 中心和 CLI 中心产品,致力于为开发者提供更稳定、快速、安全的编程体验。
在本插件中,我们提供了但不局限于如下的功能:
对接华为云API开放平台,支持用户检索API、查看API文档、调试API、以及提供SDK示例代码供用户学习如何使用API。
提供华为云SDK代码片段补全功能,SDK依赖包自动引入,加速用户集成华为云API。
对接华为云开发体验馆Codelabs,提供500+云服务代码示例,向导式教程帮助用户快速学习。
说明:
在IntelliJ IDEA等系列平台和VS Code IDE,华为云API插件的名称是Huawei Cloud API。而在CodeArts IDE,API插件是IDE原生内置的,名称是华为云API开发套件。
API插件在IntelliJ IDEA等系列平台和VS Code IDE的使用依赖底座插件,请提前安装底座插件。
3 API插件安装--IntelliJ IDEA
3.1 IntelliJ IDEA等平台
安装准备:下载并安装JDK1.8或更高版本。下载并安装IntelliJ IDEA 2020.2或更高版本。
须知:IntellIj平台同时支撑包括Goland、Pycharm等在内的IDE,若在其它相关IDE上开发,请下载配置好对应语言的编译器或者解释器。这里以IDEA为例介绍IntelliJ平台插件的安装流程,其他IntelliJ系列的IDE请参考IDEA。
开始安装:
您可以在直接在IDE插件市场或者直接在JetBrains插件市场下载离线包安装。
IDE安装
- 在IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins。
- Plugins区域单击Marketplace,在搜索栏中输入Huawei Cloud API。
- Search Results区域会出现Huawei Cloud API,单击Install,完成后重启IDE。
离线包安装:
- 进入插件市场搜索Huawei Cloud API,进入插件详情页,在Versions页签下选择想要版本的API插件,点击Download下载离线的插件压缩包保存到本地。。
- 在IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins。
- 在Plugins区域单击 ,再单击Install Plugin from Disk...。
- 在Choose Plugin File对话框中选择离线安装包(不用解压),并按照IntelliJ IDEA安装页面的提示,完成后续安装步骤。
说明:若当前您想要安装插件的IntelliJ IDE已经在桌面打开,则进入插件市场搜索Huawei Cloud API,进入插件详情页,在右上角会识别到本地已经打开的IDE,点击相应按钮,在弹出的IDE窗口中点击ok,则IDE后台会开始安装相应版本的API插件。
安装验证:在IntelliJ系列平台上安装插件成功后在左侧的导航栏中可以看到Huawei Cloud Toolkit图标,点击后面板会出现Huawei Cloud API的字样,则说明安装成功。
3.2 API列表
左侧展示API列表,可以查询所有API,目前云服务206,APIs9213
4 ModelArts智能数据标注提升70%效率
4.1 什么是ModelArts?
ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。
"一站式"是指AI开发的各个环节,包括数据处理、算法开发、模型训练、部署都可以在ModelArts上完成。ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。
4.2 产品优势
一站式
即使您是一个毫无AI经验的开发者,也可以开"箱"即用。ModelArts平台涵盖AI开发全流程,可灵活使用其中一个到多个功能用于开发工作。
易上手
提供多种预置模型,开源模型想用就用。
模型超参自动优化,简单快速。
零代码开发,简单操作训练出自己的模型。
支持模型一键部署到云、边、端。
高性能
自研MoXing深度学习框架,提升算法开发效率和训练速度。
优化深度模型推理中GPU的利用率,加速云端在线推理。
可生成在Ascend芯片上运行的模型,实现高效端边推理。
4.3 ModelArts手工标注数据
案例内容
AI开发数据标注的时间往往占了一半,本codelab基于ModelArts智能数据标注功能,让开发者体验高效完成海量数据智能标注,越标越准,大幅减少标注人力。
在本案例中,您将使用ModelArts的数据标注工具,标注图片中的行人、脸部和口罩,并体验使用智能数据标注自动批量标注数据。
案例目标
掌握使用ModelArts手工标注数据的方法。
掌握使用ModelArts智能数据标注,提升标注效率的方法。
您需要准备什么?
一台电脑(Windows,Mac或Linux操作系统)
谷歌浏览器
- 准备工作
体验智能数据标注,需要完成以下准备工作
创建华为云账号并实名认证
参考此链接,注册华为云账号。https://support.huaweicloud.cn/usermanual-account/zh-cn_topic_0069252244.html
参考此链接,完成实名认证,推荐使用扫码认证。https://support.huaweicloud.cn/usermanual-account/zh-cn_topic_0133456714.html
**注意:**请及时检查账号状态,避免账号处于欠费或冻结状态时资源被冻结,影响您的使用。
获取访问密钥并完成ModelArts全局配置
参考此文档 获取访问密钥并完成ModelArts全局配置。https://support.huaweicloud.cn/prepare-modelarts/modelarts_08_0002.html
注意:访问密钥文件请妥善保存,使用OBS Browser会用到。
委托授权
为了授权ModelArts访问OBS,需要进入ModelArts数据集,点击“服务授权”按钮,进行授权。https://console.huaweicloud.cn/modelarts/?region=cn-north-4#/dataset
创建OBS桶
OBS,即Object Storage Service,对象存储服务,是华为云上提供云上储存的服务。在使用ModelArts之前您需要创建一个OBS桶,并在其中创建一个用于存放数据的文件夹。
登录OBS管理控制台, 页面右上角单击"创建桶",系统弹出如下图所示的对话框,选择"区域"为"华北-北京四",输入自定义的桶名称,其他选项保持默认即可,最后点击页面下方"立即创建"按钮即可成功创建。https://storage.huaweicloud.cn/obs/#/obs/manager/buckets
下载并登录OBS Browser+
OBS Browser+是OBS客户端,方便用户上传和下载文件。
https://support.huaweicloud.cn/browsertg-obs/obs_03_1003.html
点击此链接,根据操作系统版本下载相应版本的OBS Browser+,并点击.exe文件进行安装。
https://support.huaweicloud.cn/browsertg-obs/obs_03_1004.html
参考此文档,使用AK SK登录OBS Browser+。
https://support.huaweicloud.cn/clientogw-obs/zh-cn_topic_0045829115.html
如果是Mac操作系统,可以参考此文档下载和安装OBS Browser。
注意:AK SK从访问秘钥文件中获取。
- 智能标注数据
本步骤对数据集进行智能标注。
https://modelarts-labs.obs.cn-north-1.myhuaweicloud.com/codelab/mask_detection/mask_detection_auto_labeling.tar.gz
准备数据
本案例使用口罩识别数据集,点击此链接,下载数据压缩包到本地,然后解压,可以得到mask_detection_auto_labeling文件夹。
通过OBS Browser+上传mask_detection_auto_labeling文件夹到刚刚创建的OBS桶下。
点击OBS Browser+界面上的“上传”按钮,即可上传文件夹或者文件;点击“新建文件夹”按钮,即可创建文件夹。
注意:该口罩识别数据集只能用于学习用途,不得用于商业用途。
创建数据集
点击此链接,进入ModelArts数据集。
点击页面上的“创建数据集”按钮, 创建数据集页面填写示例如下:
数据集名称:自定义
描述:自定义
数据集输入位置:mask_detection_auto_labeling文件夹所在的OBS路径
数据集输出位置:标注数据的输出OBS路径。需要在OBS中创建这个路径,可以在OBS Browser+中创建。
标注场景:物体
标注类型:物体检测
填写完毕上述字段后,点击创建。
手工标注一部分数据
进入数据集标注页面
点击数据集名称,进入刚刚创建的数据集的总览页面。
同步数据集
点击“开始标注”按钮,进入数据集标注页面。
点击“全部”页面的“同步数据源”按钮,数据同步完成后,右上角会出现“数据同步完成”的提示。“同步数据源”按钮的位置如下图所示:
手工标注图片
点击进入“未标注”页面,该页面展示了所有未标注的图片。点击其中任意一张图片,进入单张图片的标注页面。进入图片的标注页面后,就可以正式对图片标注了。
物体检测任务中,标注一个物体的方式是,首先围绕这个物体的外围画一个矩形框,然后打一个类别标签,最后点击“添加”按钮。在ModelArts标注系统中,画矩形框的方式是先单击选择矩形的左上角,然后再单击选择矩形的右下角。
一张图片标注完成,如下图所示:
根据上述方法,手工标注几张图片,体验一下物体检测任务的标注工作。
大家可以感觉到物体检测任务的标注工作量很大并且枯燥无味,这个时候就可以使用智能标注,智能标注的原理使用半监督算法来标注数据,从而提升标注效率,减少人力投入。
智能标注剩余的数据
启动智能标注作业
点击“返回数据标注预览”按钮,返回到数据集标注页面。“返回数据标注预览”按钮的位置如下图所示:
点击进入“待确认”页签,然后点击“启动智能标注”按钮,选择“主动学习”,最后点击“提交”按钮,启动智能标注作业。“提交”按钮的位置如下图所示:
该智能标注作业大概会运行15分钟左右。
智能标注的基本原理是,基于用户已经标注数据,并辅以未标注的数据,训练一个模型,然后对剩余的数据做推理。
修正并确认智能标注结果
智能标注作业完成后,在“待确认”页面会展示智能标注的结果。
点击其中一张图片,进入确认页面。
人工确认并修正智能标注的结果。如果标注框的位置有偏离,或者物体的类别标签不对,可以人工修正智能标注结果。在“文件标签”列表中,选中这个标注框,点击“修改”按钮,然后就可以对标注框进行修正。或者点击“修改”按钮,修改类别标签。如果检测框错误,可以将它删除。
修正完标注信息后,就点击“确认标注”按钮,系统会将这张图片及其标注信息加入到已标注数据中。“确认标注”按钮如下所示:
本案例由于时间和已标注数据数量有限,智能标注的结果可能不是很准确。在实际应用场景中,我们可以添加更多的数据,并标注更多的起始数据,这样准确率就会提升。
迭代进行智能标注
在实际应用场景中,智能标注是一个迭代的过程,每一轮只确认部分数据,然后继续启动下一轮智能标注,这样会使得智能标注的结果越来越准。
在本案例中,您可以只确认几张图片,然后就结束标注,只标注部分数据的数据集也可以用于训练模型。
回帖领代金券(可选)
如果想要领取第二张代金券,可以将上一步骤中“待确认”页面中的智能数据标注结果截图保存(截图需要带上右上角的华为云账号),然后在相应的论坛帖子下回帖。累计完成三个案例就可以领取第二张代金券。点击此链接,进入论坛帖子,参与Codelabs 活动。
发布数据集
标注好的数据集可以点击“发布”按钮发布成一个版本,这个数据集可以在ModelArts上训练模型的时候使用。点击进入数据集页面,“发布”按钮位置如下:
5 恭喜你
祝贺您,您已经使用ModelArts完成了智能数据标注任务!
您学会了如何在ModelArts标注平台上对图片进行物体检测任务的标注,同时掌握了使用ModelArts智能数据标注批量自动标注数据。
接下来您可以
使用ModelArts数据特征分析,查看发布的数据集的数据特征,为你提供深度数据优化建议。
使用ModelArts预置算法,预置算法可以直接使用标注好的数据集进行模型训练。
参考文献
https://support.huaweicloud.cn/prepare-modelarts/modelarts_08_0001.html
https://support.huaweicloud.cn/prepare-modelarts/modelarts_08_0002.html
https://support.huaweicloud.cn/engineers-modelarts/modelarts_23_0012.html
https://support.huaweicloud.cn/qs-obs/obs_qs_0002.html
6 体验插件课程
https://classroom.devcloud.huaweicloud.cn/MOOCCourseStudy/join/ef4ebc3dbaa246ff995f75022cac8cb9
识别下方二维码立即体验
- 点赞
- 收藏
- 关注作者
评论(0)