【直播内容总结】穿越时光 让黑白地雷战原彩重现

举报
张辉 发表于 2020/07/31 01:00:43 2020/07/31
【摘要】 本文介绍了对黑白图片上色的基本流程。

 

7.23的直播会已经结束,本篇文字来源于 https://bbs.huaweicloud.cn/forum/thread-66653-2-1.html 论坛本人的跟帖。

本文的内容和图片是本人对老师直播内容的整理和总结。特此说明。

 

image.png

 

老师一开始就介绍今天的重点是介绍:

今天的内容是:输入一个黑白图片,怎么玩,才能导出一张彩色的图片。

所以今天是图片转换(后面会有视频转换,和优化部分:而优化的瓶颈可能就不是昇腾处理器,而在前处理和后处理)

第一部分:

老师先介绍了几个关键的知识点,比如:

(1)Lab颜色空间:跟RGB有区别。数值在0~100。

image.png

Lab颜色空间中的L通道是可以直接用作灰度图的输入的,所以推理的时候只需要预测AB通道即可。

(2)卷积:算法中大量用到了卷积,包含dilation=0和dilation=1的卷积

image.png

还包含了反卷积:(可以起到上采样的效果)

image.png

(3)卷积核 featuremap

image.png

 

第二部分:

老师接下来介绍了具体的模型的主要思路:

利用卷积计算提取特征,然后用卷积进行分类,从而计算出每个灰度图片的色彩预期。

这样生成的Lab再转换为RGB就可以是目的的彩色的图片了。

 

image.png

 

具体的过程可由以下的内容表示:

image.png

我们看一下这个过程的具体复杂度:

image.png

image.png

 

从特征提取和预测的数量级都很高,计算量和参数量也非常大,传统CPU不可能做到,这时候只有借助于昇腾处理器的超级AI处理能力才能解决问题。

第三部分:

老师介绍了基于昇腾处理器的开发流程

image.png

 

首先,上色这个是别人提供的模型,首先要经过转换,才能在昇腾处理器上跑。

然后要做评估,如果算子不行或缺失,要开发算子,补齐算子库。

然后使用ACL进行业务开发。

如果之后发现性能不够,还需要做性能优化和调试。

在模型转换方面,提供了ATC工具:

image.png

在模型转换时,有以下的约束:

image.png

老师接着使用MindStudio进行演示:

image.png

并介绍了2个重要的模型评估工具:img2bin和amexec

image.png

下图是推理的结果:推理10次,运行时长为9.8m,可以达到一秒处理100帧的速度。基本上对于黑白视频影像是没问题了。

image.png

老师又介绍了ACL(称之为昇腾计算语言,或者昇腾加速库)的开发过程,这里是一个简单的HelloWorld:

image.png

 

可见,使用ACL做业务开发非常简洁。

接着,老师介绍了上色的整体代码结构:

image.png

model 下是转换好的模型

image.png

 

main.cpp,  colorize_process.cpp, model_process.cpp是三个最主要的代码。其中main分别调用后两个代码进行前处理和后处理。

一般情况下,用户对于main.cpp和model_process.cpp无需修改,只需要修改 colorize_process.cpp即可完成自己的代码开发。

最后,老师根据以上的代码,做了转换后的演示:

比如:这是对黑白人像转换的结果

image.png

这是对风景图像转换的结果:

image.png

 

效果看起来都非常好。

最后,老师做了总结,并留下了伏笔,下一课,我们还需要继续学习视频该如何转换。

image.png

 

个人感受:听了这部分内容,顿时对黑白图片的上色过程感觉清晰了,虽然中间很多算法不是很懂,但是整体的过程已经非常明晰了。真希望自己把自己父母的一些黑白照片给上个色。毕竟他们的老照片都是他们心里的宝贝啊。。。

 

最后附上色的算法地址:

https://developer.huaweicloud.cn/techfield/ascend.htmlzh/developer/mindx-sdk/cartoon/990674866img?fromPage=1

以及码云地址:

https://gitee.com/Atlas200DK/sample-colorization

有条件的小伙伴可以下载学习哦。。。。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。