【昇腾学院】昇腾AI处理器软件栈--框架管理器(Framework)

举报
Torrenza 发表于 2019/12/16 16:41:42 2019/12/16
【摘要】 框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前,框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型,并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时,框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源,将离线模型、数据和达芬奇架构三者进行结合,优化执行流程得出神经网络的应用输出。功能框架框架管理器包...

框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前,框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型,并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时,框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源,将离线模型、数据和达芬奇架构三者进行结合,优化执行流程得出神经网络的应用输出。

功能框架

1576485282557763.png

框架管理器包含了三个部分,分别为离线模型生成器(Offline Model Generator,OMG)、离线模型执行器(Offline Model Executor,OME)以及模型管家(AI Model Manager),如上图所示。开发者使用离线模型生成器来生成离线模型,以om为后缀的文件进行保存。随后,软件栈中的流程编排器调用框架管理器中模型管家,启动离线模型执行器,将离线模型加载到昇腾AI处理器上,最后再通过整个软件栈完成离线模型的执行。从离线模型的诞生,到加载进入昇腾AI处理器硬件,直至最后的功能运行,离线框架管理器始终发挥着管理的作用。

更多信息请关注昇腾开发者社区

https://ascend.huawei.cn


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。