ModelArts可视化工具使用指导
可视化工具总览
可视化工具的目的和用户用途是什么?
可视化工具使用户能够跟踪实验指标,例如损失和准确性,可视化模型图等。可视化训练过程对于问题的发现和模型收敛效果的确定非常重要,从而优化得到较好的模型设计。
插件是做什么用的?
-
TensorBoard
TensorBoard 用于提供机器学习工作流程期间所需的测量和可视化的工具。目前云道和华为云环境的训练模块已集成,请参考Tensorboard in ModelArts 、TensorBoard in ModelArts FAQ 和 TensorBoard官网指导。
注:ModelArts TensorBoard目前只支持TensorFlow和MXNet引擎,只有使用TensorFlow或MXNet引擎的训练作业才可以创建TensorBoard作业。 -
MindInsight
MindInsight用于MindSpore模型的精度和性能调优,主要收集Summary和profiling数据,目前云道环境的训练模块已集成,请参考 MindInsight in ModelArts 和 MindInsightFAQ 。 -
Obsfs
对象存储服务(Object Storage Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,推荐使用obsfs。
Obsfs详情链接:https://support.huaweicloud.cn/fstg-obs/obs_12_0001.html
插件展示
1.TensorBoard和MindInsight在线使用有四种入口形式,本次只展示有界面化的三种方式
Tensorboard
Mindinsight
2.支持TensorBoard的 obsfs和MindInsight的 obsfs(在入口1中)
三种入口具体操作
1.点击入口1,进入Jupyter Notebook自动创建.ipynb文件
在对话框中输入tensorboard相应命令,即可展示界面。
例如:
- Tensorboard
%reload_ext tensorboard
%tensorboard --logdir /home/ma-user/work/log
备注:支持输入obs地址,例如
%tensorboard --logdir obs://dongcongvisual/tf_log/
- Mindinsight
%reload_ext mindinsight
%mindinsight --summary-base-dir /home/ma-user/work/log
备注:支持输入obs地址,例如
%mindinsight --summary-base-dir obs:/dongcong/ms_log/
2.点击入口2,直接进入Tensorboard展示界面。
默认读取路径/home/ma-user/work/
- Tensorboard
备注:当存在两个以及以上工程的log时,界面如下。通过Runs下选择查看相对应的log。
- Mindinsight
3.点击入口3
- Tensorboard
1)在搜索框中输入tensorboard,点击Create a new tensorboard。
2)填写需要查看的本地log路径,例如/home/ma-user/work/log2
备注:支持相对路径同时也支持绝对路径,填写/home/ma-user/work/下的log地址或者./log。
3)点击CREATE进入展示界面
- Mindinsight
1)在搜索框中输入mindinsight,点击Create a new mindinsight。
2)填写需要查看的本地log路径
3)点击CREATE进入展示界面
三种关闭方式
1.直接从界面关闭。备注:后台未关闭
2.在.ipynb中输入命令,关闭
例如:
- Tensorboard
!kill -9 PID
- Mindinsight
!mindinsight stop --port 端口号
3.点击
,选择要关闭的SHUT DOWN。
- 点赞
- 收藏
- 关注作者
评论(0)