一、前言

在6月15-16日举行的华为伙伴暨开发者大会2022期间，以“创新无限，一切皆服务”为主题的技术论坛在线上举办。华为云媒体服务产品部部长吕阳明在会上发表了题为《MetaStudio数字内容生产线，让虚拟世界与现实世界无缝融合》的演讲，介绍了华为云MetaStudio数字内容生产线的整体方案，并系统化阐释了MetaStudio如何助力“数字人”内容创作与应用。湖南多豆乐公司创始人兼CEO刘主力在会议上也分享了多豆乐漫娱传媒基于华为云MetaStudio开发3D直播数字人的案例，介绍了华为云为多豆乐提供的云上实时渲染直播解决方案。

接下来我们一起进入会议现场。

二、MetaStudio数字内容生产线，让虚拟世界与现实世界无缝融合

演讲人：吕阳明 华为云媒体服务产品部部长

2.1 数字内容生产线MetaStudio，引领产业进入元宇宙时代

“元宇宙”已经成为数字经济时代的一个热词，随着元宇宙时代的到来，我们可以大胆的设想一下，到时候我们会以什么样的方式进入到元宇宙的世界呢？

未来会存在一系列的数字人加实时互动的虚拟空间，包括社交、工作、娱乐等。用户关心的是如何使用数字分身进入到这些虚拟空间和全球各地的用户实时互动，而对于应用提供方则更加关注如何提供有创意，强互动的3D应用，持续提升内容力，吸引更多的用户和流量。华为云的MetaStudio数字内容生产线，提供了3D数字内容开发，应用开发和实时互动的框架。

那怎样通过媒体快速创建一个场景化的元宇宙呢？

我们以社交类的数字时装元宇宙为例；首先，基于数字内容开发框架，设计师可以快速制作各种类型的数字时装，然后通过应用开发框架搭建虚拟时装艺术空间，让用户体验时尚的数字时装。最后，使用实时互动框架，设计师可以通过数字人面对面的为用户提供穿搭指导，用户间也可以相互交流分享体验。

通过华为云MetaStudio数字内容生产线，各行业客户都可以便捷地在云上生产数字内容，开发3D应用，打造虚拟演唱会、虚拟展会、办公协作、工业数字孪生等，同时支撑海量用户的实时互动，让虚拟世界和现实世界无缝融合。

今天，作为MetaStudio数字内容生产线的核心能力，华为云正式上线全流程场景化的数字人服务，包括数字人生成服务和数字人业务服务。在数字人生成服务中，我们提供风格化数字人，写实数字人和真人3D视频制作等服务帮助伙伴和客户制作不同类型的数字数字人业务，服务中提供数字人直播和数字人视频制作两大服务，并和华为云直播、媒体处理、AI等能力结合，帮助客户打造虚拟主播、企业直播、教育课件、展厅讲解等场景化应用，实现数字人生于云，长于云，用于千行百业。

2.2 风格化数字人服务：秒级解锁你的数字人分身

怎样才能快速生成一个数字人呢？华为云提供全场景风格化数字人服务。首先，你只需要上传一张正面照，风格化数字人服务就可以基于华为人脸识别算法精准模拟脸部深度信息，包括276个脸部特征点；然后，通过将基膜和面部分区，结合华为实验室资源的几何形变算法，让模型更像你，采用包含12万个顶点加12万面片的高精度基础模型，基于15个面部分区，能够更加精准控制形变，自动进行材质适配，选取肤色、发型、眉毛、眼睛、胡须等等，生成一个卡通风格数字人，整个制作过程只需五秒就可以生成你的专属数字人。

风格化数字人服务通常用于数字人直播、虚拟社交等行业场景，而在综艺、影视等行业中，对数字人各方面的真实性要求都更高。比如，人物的形态、眼神、皮肤的质感、毛发的细腻程度、衣服材质的真实感等等，这叫做写实数字人。

写实数字人制作过程包括，光笼扫描，几何生成、纹理补全、材质生成、素材匹配等环节，流程非常复杂。当前业内如要手工完成，通常需要两个月才能做出一个相对较好的模型，投入巨大，华为提供写实数字人服务，通过光笼拍摄三组100多张各个角度的真人照片，基于从拓普和路线优化自动完成几何模型生成，相比耗时耗力的手工建模，建模时间从六天减少到十分钟。在文理补全材质深层环节，传统的制作方式至少需要一个月时间进行手工打磨。在制作阶段，通过交叉和平行偏振光生成颜色的贴图自动完成模型着色。基于梯度照明生成法线和材质贴图，让皮肤的质感更加自然。相比传统的手工制作方式，制作周期从30天缩短到一小时。

同时，MetaStudio写实数字人服务拥有1000多个高精度的显式素材。可以基于多维特征，自动匹配头发、眼睛、眉毛等等。再结合人工精修，整个制作周期可以减少到七天以内，极大的节省了写实数字人的制作周期和人工投入。

传统的2D视频拍摄都是基于固定摄像机位。在虚拟视频制作中，是无法随意的移动，体验单一，真人3D视频以3D的形式记录人物完整动态，制作出的虚拟视频可以从各个角度、不同距离观看，带来了全自由度虚实融合的体验，享受更加沉浸式的观感，真人3D视频可以用于虚拟演唱会、综艺制作、虚拟瓷砖展览等多种场景。

2.3 真人3D视频制作云服务

华为云全新推出云上真人3D视频制作服务摄影棚拥有业界领先的高精度拍摄系统，采集拍摄对象每个角度的色彩和深度信息，通过华为自研标定体和投射光结构算法，标定过程只需要15分钟。采集后的数据通过4K视频下采样前景分割预处理，使上行数据量降低50%，带宽降低到几百兆，并提供全球媒体网络上行加速服务，实现数据实时上云。

在3D模型生成阶段，利用华为云分布式异构算例大规模并行计算的优势。传统本地制作需要一小时才能完成的3D模型生成，现在在云上只需要一分钟。

华为云真人3D视频云服务，基于10万家训练模型，通过AI材质估计，重光照处理，让虚实融合更加自然，通过端到端全员上制作效率提升十倍，将彻底改变传统虚拟制作的过程。

2.4 数字人直播服务，开启流量新蓝海

前面介绍了三种不同类型的数字人生成服务，这些数字人可以应用到直播带货、新闻播报、智能客服等不同行业的场景。

第一个典型场景就是直播，当下各类直播非常火爆。刘根宏的健身直播当场观看人数超过4400万人次。大家可以想象一下，如果把直播和数字人结合起来，主播和每个用户都有一个数字人，观众可以和主播在同一个虚拟空间互动，唱歌跳舞，跟千万个刘根宏女孩一起健身，让互动的体验更有乐趣。华为云数字人直播服务将这种场景变为可能，通过普通摄像头实现对人体动作和表情的高精度捕捉，让数字人的驱动更加真实简单，让人人都可以便捷的使用自己的数字人。采用有深度信息的人体特征点训练数据集和识别算法，让准确度提升至90%，同时结合华为云强大的18个RTC服务，驱动时延低于100毫秒，动作更加流畅。

第二个业务场景是数字人视频制作，在教育课件、新闻播报、展厅讲解等场景中，存在大量的视频制作的需求；并且内容频繁变化，依靠人工录制，耗时耗力。数字人视频制作服务，完美地解决了问题，无需真人驱动，用户只需要进行数字人选型，课件配置，讲解词配置就可以让数字人动起来，快速生成讲解视频，通过提取多元的语音特征，数字人口型准确度达到95%以上，同时，基于600多个表情肌，可以实现音频特征和表情的精确匹配，深沉的表情更加真实细腻，甚至可以表达丰富的微表情，对比传统的单帧拼接的方式，华为云通过计算连续帧的插损值实现口型表情平滑变化，让数字人表情更加连续自然。

2.5 开发数字人服务接口，10行代码生成一个数字人

前面所提到的数字人服务，都开放了对应的API，开发者可以直接调取对应的数字人生成服务API，快速创建不同类型的数字人，以风格化数字人为例，大家可以通过十行代码实现一个风格化数字人的创建，让人人都拥有一个风格化数字人。

数字人的直播和视频制作服务也全面上线，大家可以通过调用对应的API，快速开发数字人直播和视频制作的应用。

三、元宇宙数字人，我叫方小锅

演讲人：刘主力 湖南多豆乐公司创始人兼CEO

今天跟大家来分享多豆乐公司与华为云在元宇宙数字人方向的一些合作。

多豆乐公司是我从上海回湖南创业，2018年创立的公司，当时定位于做垂动漫视频MCN，到2021年底打造了数十个百万级的动漫IP，其中我叫方小锅IP在全网几个主要平台，如抖音、快手、B站、小红书等，突破了一千万的粉丝总体量。

方小锅在抖音上的账号，那当前已有400多万的粉丝量，方小锅讲述的是一个少年方小锅因为一次意外，变成了女生而发生的一系列的短视频故事，是个及便装、青春、潮流、穿越为一体的年轻态动漫短剧。

2021年下半年，元宇宙开始起风，看到了新的突破口，我认为这就是方小锅IP的未来。

多豆乐公司多年来产品和服务积累的沉淀是完全适用于元宇宙世界的。去年11月，经长沙马栏山管委会的介绍，我认识了华为云马兰山音视频创新中心的王主任，在马栏山利用技术沉淀帮助马栏山园区打造成为具有全球竞争力的中国硅谷。其中虚拟制作数字人这条生产线是完全适应于多豆乐公司。

有园区和华为的双助力，让方小锅数字人快速出道，去年11月与华为云小伙伴接洽后，12月就与华为就正式签约，今年一月份便正式立项方小锅数字人项目，根据提供的方小锅原画形象，华为云从完成3D建模到骨骼绑定，到贴图，到文理，到材质灯光渲染动画，全部制作好，用了不到两个月的时间。三月份，方小锅数字人便正式的在各大视频平台上线，上线不到一个月的时间，粉丝数总量就突破了一千万。

下面我来给大家介绍一下方小锅数字人两个应用场景。

第一个是直播业务。方小锅的首要应用场景是直播业务，基于华为云的强大云上存储和云算力，提供云上实时渲染直播解决方案。通过单目摄像头视觉驱动，无需昂贵的动捕设备，动捕准确率可以达到90%以上。同时，主播测可以通过端测APP或云测界面进行直播业务的管理，来灵活调整数字直播背景等业务参数；数字人直播业务，可以帮助方小锅推流各大直播平台。

第二个就是短视频业务，在短视频输出这一段，基于对VR视频的需求，数字人制作视频，通过对方小锅数字人五种语音机库的建立，40个标准动作的机库，600多个表情机库和知识图谱的深度学习，通过语音驱动一站式配置输入文本即可生成多样化的动态视频，节省了通过中资人和建立专业编导摄像团队制作的时间和人力成本，而且口型准确度基本可以达到真人的效果，表情也非常的自然。

通过与华为云建立的这种合作伙伴关系，将原有动漫版方小锅，实现了与同行动漫IP弯道超车似的发展成为了元宇宙世界维度的数字人。从立项开始制作到开始商业运营，短短四个月的时间，华为云的小伙伴表现得十分的给力，不管是在专业度上，勤奋度上，还是在服务度上，都令我感到十分的满意。

诚然，要实现元宇宙业务的快速发展，对产品高质化的苛求，服务最优化的体现，合作共赢化的目标，后续，还需要华为云给提供更多在产品新技术实现上、功能创新上，运行流畅上的服务知识。比如，方小锅数字人在直播场景应用中对云端实时渲染，云计算的提升，对方小锅数字人实现AR驱动在知识图谱和自然语言处理上的深度学习，对数字人开发工具平台的快速研发，对虚拟空间开发工具的快速研发，对数字产品更多创新技术上的开发等等，这些都将是未来苛求的，相信，更是整个行业非常苛求的。

除了方小锅，公司规划了未来十多个数字人IP矩阵，也希望能够和大家一起引领未来数字人的朝向，我也希望能和华为在元宇宙展开更紧密的合作，如同公司的使命一样，让人们在元宇宙中乐享生活。

四、总结

当前，"元宇宙"已经成为数字经济时代的一个热词。未来各个行业中会产生一系列的数字人+实时互动的虚拟空间，用于人们的社交、工作、娱乐等。用户关心如何使用数字分身，进入到虚拟世界，和全球各地的用户实时互动。而应用提供方则更加关注如何提供有创意、强互动的3D应用，持续提升内容力，吸引更多的用户和流量。

在会议上，吕阳明通过自己的数字人分身"吕小明"，代替其本人绘声绘色地介绍了华为云MetaStudio风格化数字人服务的使用,湖南多豆乐公司创始人兼CEO刘主力也分享了多豆乐漫娱传媒基于华为云MetaStudio开发3D直播数字人的案例。

目前华为云MetaStudio数字人服务已面向广大开发者开放API，开发者可以直接调取对应的API，快速创建不同类型的数字人。以风格化数字人为例，通过10行代码即可实现数字人生成，人人都能快速拥有自己的数字人。在元宇宙大热的当下，华为云MetaStudio数字内容生产线让各行业客户都可以便捷地在云上生产数字内容、开发3D应用，打造虚拟演唱会、虚拟展会、办公协作、工业数字孪生等一个又一个的元宇宙空间，同时支撑海量用户的实时互动，让虚拟世界和现实世界无缝融合，助力客户和伙伴抢占元宇宙时代先机。

本文参与华为云社区【内容共创】活动第18期。

https://bbs.huaweiCloud.com/blogs/364560

任务13: 华为云：MetaStudio数字内容生产线，让虚拟世界与现实世界无缝融合

https://bbs.huaweicloud.cn/live/partner-developer2022_live/202206161400.html