【我与ModelArts的故事】想不想让一张静态的照片动起来(遇到问题—>如何解决问题)
前言
最近老美的ChatGPT火遍全球,公司也随机提出要接入AI技术,跟上时代的潮流。而俺们才刚毕业不久,在公司待多年的那些大佬又是长期写业务,对AI技术一无所知。无奈之下,我们就想——有没有现成的AI产品,我们直接调接口就行了(钱不是问题)
于是,首先想到了华为云的 modelArts,产品地址为 https://www.huaweicloud.cn/product/modelarts.html
选择项目
进入ModelArts逛了一圈后,还真被我找到了一个新奇的玩意。位置在“入门&案例”选项卡下的“让照片人物动起来”
点击前往,可以看到该项目的详情页。太棒了,通过AI技术,就能让静止的照片动起来
运行项目
在详情页点击右上角的“Run in ModelArts”
首次使用会出一个警告提示,确定即可
然后它会打开JupyterLab编辑器,你可以在上面执行你的代码。左侧介绍了这段代码一共有哪些步骤
- 准备代码和数据
- 修改预制的视频和图片
- 让图片根据视频动起来
- 将视频和声音合并
- 生成最后的视频
右上角标注了当前默认的代码运行环境
注意:这里不需要我们去写代码,只需要修改素材和运行代码即可
1. 准备代码和数据
点击代码左侧的“三角形按钮”运行代码,运行结束后,左侧会显示当前代码块执行的总耗时
这里没有报错,表示准备数据执行成功
2. 修改预制的视频和图片
如图,在左边点击文件夹按钮,切换到目录界面
注意:第一步执行完成后,image_to_video目录才会出现
根据操作提示 —— 在image_to_video文件夹下面的test文件夹中,有一个预置的v.mp4视频和一个i.jpg图片
将里面的视频和图片替换成自的视频。视频和图片的名称不建议修改,如果修改成其他的名称,后面的路径也要相应的修改。
默认的图片为
视频则无法播放
点击“上传”图标,打开上传文件对话框。然后点击“选择文件”,选择本地图片进行上传。上传成功后,左侧文件夹列表会出现你上传的文件(文件名为本地文件名)
注意:文件名不能太长,否则会上传失败
将图片重命名为 i.jpg
然后依次点击“原视频”和“原图片”左上角的运行按钮,载入图片和视频
3. 让图片根据视频动起来
这里也很简单,无脑执行这两部即可
- 安装ffmpeg的依赖
- 执行脚本
4. 将视频和声音合并
安装moviepy的依赖
然后在把视频中的音频提取出来,加入到图片生成的视频中,这步就失败了。提示:ModuleNotFoundError
错误提示为:ModuleNotFoundError: No module named ‘numpy.typing’
我尝试过不修改图片,直接用原图执行,但还是失败的
遇到问题,求助论坛
本次实验以失败告终。Run in ModelArts报错无法正常执行下去,并且由于本人对AI技术不是很懂,因此无从尝试修改。
但是本人已经在云声和论坛发帖求助了,相信不久就能得到各位大佬的帮助。论坛地址为:https://bbs.huaweicloud.cn/forum
我的求助贴链接为:
- https://bbs.huaweicloud.cn/forum/thread-0260118753367983005-1-1.html
- https://bbs.huaweicloud.cn/forum/thread-0232119003269740019-1-1.html
(期待各位的帮助。不过,在我的理解上,这个项目应该是能直接下一步下一步运行成功的,应该没理由要改代码才对。应该是开发这者的疏忽)
更新于2023-05-10
感谢热心版主“Emma_Liu”的回复,让我们来试一试
我这里压根没生成result.mp4
,因此按版主说的,应该是依赖版本问题。按该版主的回答,添加 !pip install imageio==2.15.0
结果还是没生成,俺们继续提问,期待版主回答 !^_^!
更新于2023-05-11
感谢热心人士“Wu”的回复,让我们来试一试
将代码改为在 !pip install imageio-ffmpeg
的后面加上 !pip install imageio==2.15.0
原始代码是这样的
修改后的代码为
这个是对的,经过代码改造,已经成功生成了result.mp4
感谢两位大佬 @Emma_Liu 与 @Wu 的热心帮助!!!
最终的效果有点不尽如人意,歪歪曲曲的,不像是真人讲话的样子
然后将图片替换,接着按顺序依次运行代码,得出这个out.mp4。看过视频后,发现,该功能并不像想象的那么理想,只是简单的把图片进行扭曲,并不能真正商用。不过,终于运行成功了,很感谢两位大佬的耐心解答
总结
实验中遇到问题,报错中断,无法正常执行后续逻辑。这时候,可以像我一样,在论坛发帖求助,华为云有很多热心的大佬,还有版主大人会给你解答问题,这点非常赞。
当然有时候也会和我一样,遇到大佬在忙,或者被别人其他帖子淹没的情况。这时候可以再多发一个新帖进行求助。可以参考本人的“求助贴”
再放一下求助贴的链接:https://bbs.huaweicloud.cn/forum/thread-0232119003269740019-1-1.html
真的很感谢这两位大佬!虽然产品最终运行的结果还没有能商用的地步。但是大佬们的热心解答,让我顺利的完成了本次实验,再一次由衷的表示感谢,这就是我本次实践中,真实发生的,与ModelArts的故事。
结束语
我正在参加【有奖征文第21期】说说你和ModelArts的故事,输出优质产品体验文章,赢开发者大礼包!
https://bbs.huaweicloud.cn/blogs/395149
- 点赞
- 收藏
- 关注作者
评论(0)