- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

【云驻共创】“乐高式”自动驾驶研发开放平台，让开发更简单灵活高效

府学路18号车神发表于 2022/07/18 16:35:53 2022/07/18

【摘要】自动驾驶出行服务已迈过商业化门槛，海量数据存储、处理及安全合规对平台提出更高要求，华为云坚持开放生态，携手伙伴打造“乐高式”自动驾驶研发平台解决方案，可按需搭建，灵活组合，该方案核心代码框架Ploto已开源。

一、2周构建自动驾驶研发平台的秘诀详解

自动驾驶商业化落地加速

中国自动驾驶行业目前面临两个较大的变化。首先，去年11月北京正式开放自动化驾驶的商业化试点，这意味着自动化服务迈过了商业化门槛。与此同时，行业预测在2022年中国路测驾驶里程将达到2132万公里，达到2021年的3倍以上，对应的路测数据预计可达4千PB。海量的路测数据的存储和计算，对于自动驾驶研发平台的建设提出了巨大挑战。

海量数据的存储、处理及安全合规对数据管理提出更高要求

我们可以看到，挑战主要来自于以下四个方面。

为了快速的帮助用户搭建一个自动驾驶研发平台，并且有效地解决上述的挑战，华为云携手伙伴联合发布“乐高式”自动驾驶研发平台解决方案。由此可快速实现2周搭建自动驾驶平台的目标。

华为云自动驾驶研发平台业务全景图

这里介绍一下华为云自动驾驶研发平台解决的架构。可以看到，有安全合规、平台管理、算法训练、场景仿真和云资源管理等模块组成。

我们的方案主要的特点是支持用户灵活部署，既支持用户按需模块部署，也能支持用户快速地构建端到端的平台。还有一个特点，支持自动驾驶专业软件服务商集成，比如支持标注领域的新城数据，仿真领域的51world集成进来。同时也希望有更多的专业软件服务商集成进来。

聚焦三个自动驾驶研发场景

华为云自动驾驶研发平台解决方案主要服务于三个场景，首先是自动驾驶路测数据上云，我们为合作伙伴就近提供了介入站点，拷贝速度提升4倍，自动驾驶算法提升50%，性能提升了30%。

自定驾驶研发平台数据流图

如何快速部署一个是自动驾驶平台，从左往右我们可以看到，首先是路测车辆的数据产生，可以通过华为云的数据接入服务将数据传入对象存储OBS进行数据脱敏。脱敏后的数据即可进入数据预处理模块到函数工作流FGS，再到场景提取集群。然后将场景数据传入标注平台将数据进行标注，集成好数据后再将数据传入模型训练平台，进行仿真测试等环节。

华为云自动驾驶研发平台开源

现在给大家介绍一下华为云自动驾驶研发平台开源代码库“Ploto”，其中的整个架构设计如下图所示，希望用户使用这个开源代码库可以快速的搭建自动驾驶研发平台。

我们希望所有的模块通过少数的几个API就能实现功能对接，如右下角场景提取、仿真测试的API，按照路径即可实现功能的打通。在增加3-5个辅助API来完善平台应用性即可。

开源代码库：Vue+Django快速上手开发工作

Ploto开源项目前端采用Vue搭配Element和Echarts开发界面，拥有简单高效、上手快、门槛低的特点，对用户的开发比较友好。

服务端采用Django全线框架，Celery实现定时任务，mysql做数据存储，同时可一键部署华为云。

伙伴快速接入：<10个标准API，快速接入业务流程

接下来我们看下专业软件服务商如何接入？

以禾多科技的数据包管理和场景抽取来说，仅需10件API即可。前五个API是新增查询，然后是三个查询的API；其中核心为场景查询，其余都是辅助的API来完善应用性，支持用户自定义等。

用户自主设计数据流程

对于一个数据预处理的流程，除了场景提取以外还有其他的任务，例如数据质量初筛、高精度地图和天气等第三方信息的融合。这些业务的先后顺序可能都不一样，那么用户怎么快速接入平台并且接入自定义设计呢？

将我们的业务处理模块基于华为云的容器进行部署，然后再修改下面红色框中的两行代码，将OBS数据和业务处理流数据进行关联，即可完成自动化的部署和调度。这样OBS数据新增以后，自动处理业务处理单元，然后将结果输出到新的OBS中。这样就可以实现全流程的自动化触发。

开源代码库Ploto访问的路径可以从右下角二维码扫描进入。今天Ploto的发布只是一个开始，让用户快速的搭建和应用自动驾驶平台。

二、5行代码抽取场景

数据处理是数据驱动的基石

我们常说自动驾驶是一个数据驱动的技术，从刚介绍的系统框图当中可以看到自动驾驶由很多个模块构成，而数据处理则是一个模块一个技术。特别是量产自动驾驶的到来，大量的车会回传海量的数据，形成所谓的数据风暴。

如何从数据风暴中推动自动驾驶的迭代是每一个从业者所面临的一个问题。

打通数据闭环链路，持续迭代自动驾驶算法

在量产自动驾驶平台，禾多科技也是一个强烈的支持者。针对多点、多地区、长距离进行了常态化测试，同时针对一些不普遍的地区也进行了专项测试。将这些大量的场景数据进行了汇总和提取，为了应对全国各地出现的数据风暴。

场景是什么

场景：在特定的时间、特定地点、特定条件下的复合特定功能需求的数据

场景提取：从数据流中，根据场景定义提取场景的操作

我们的目标就是要从不同的场景中提取有用的数据让我们的自动驾驶更加的安全、智能。

数据场景化是自动驾驶的必经之路

场景提取从本质上来讲是一个从海量数据场景化的这样一个操作，我们为了从大量的数据中提取有用的数据来解决长尾的问题，那么数据的场景化是必不可少的。场景是数据需求的基本单位，数据场景化也是数据输出的一个中心环节，能否有足够强的中枢环节将是一个公司的技术壁垒。

车端 VS 云端

场景的提取可以在车端或者云端，在车端的场景提取会受限于一些先决条件，比如车端的算力比较低，基于规则开发的一些算法，一般会把场景存成二进制的格式和小体量的数据包，这样可以简单描述场景。

在云端可以实现高算力的特点，充分利用AI算法，也可以将这些场景存成一定的格式，这样可以实现高并发的处理方式。

场景提取的方法

对于不同的场景会有不一样的需求，场景提取方法总的说来有四个步骤：1）场景需求；2）元素标签；3）场景定义；4）场景提取。

禾多场景提取的亮点

经过多年的积累，禾多科技总结了很多的经验。基于OpenX的标准形成了一个统一的标签体系，可以保证各个部门之间的标签对齐且场景一致。同时根据对量产与市场的需求，我们也利用了搭积木的这样一种方式，允许用户可以自定义，方便后期迭代。

自动挖掘难例场景

除了对自动驾驶的一些常态化场景进行挖掘，更重要的是一些不常见的难例场景，这些难例场景直击我们算法的痛点，这样才可以真正解决我们未来可能会遇到的问题。通常难例场景有两种表现手段，第一种为通过明确的系统异常表现；第二种则是通过信息之间的明显差异来表示。

云端场景提取的技术实现

与华为云的合作，充分利用了华为云提供的云容器引擎CCE、云容器实例CCI、对象存储服务OBS、SWR容器镜像服务等云基础设施。下图左侧则为禾多科技实现的功能，包括Web平台、场景管理服务和任务调度管理等。

实现的技术可以实现PB级别的数据文件及场景数据的管理，同时可以高效调度数千实例执行任务，也能够高效智能提取自动驾驶场景片段。

三、如何应对仿真测试魔鬼挑战，日行千万里

自动驾驶到了「量产」的前夜

L2+的自动驾驶已经量产，L3级别的自动驾驶也将在22年进行量产，在高速路和城市路中相比L2会有一个飞跃，传感器会增加十几个，高精地图变得将会尤其重要。

云仿真加速自动驾驶「量产」落地

为了加速云仿真自动驾驶的量产落地，华为云提供了自动驾驶平台研发的完整解决方案。不管是L2的辅助驾驶还是L3的自动驾驶都需要进行大量的测试。

因此，云仿真可以加速自动驾驶的量产落地。

自动驾驶仿真上云优势

数据实时获取，算法日日更新

打通日常行驶车端数据与算法测试的双向通道，实现海量数据训练与边缘场景提取，满足OTA升级的功能安全测试时效性，并能适配本地化的交通场景。

并发加速计算，算力随心延展

采用云原生架构，实现海量道路场景的仿真测试，灵动调度大规模数据密集型并发算力。

云上生态完备，优化资源配置

云上具备仿真所需的多种上下游数据与服务，例如数据标注、场景库，第三方仿真模型等，避免重复投资与研发，更灵活的分配行业基础共性的技术能力。

无需本地部署，随时随地访问

算法开发与仿真测试工程团队无需配置高性能桌面工作站，轻松实现异地远程多团队协作。

数据轻松管理，使用安全可靠

对场景库，算法，地图，传感器模型，动力学模型与测试评价报告等数字资产安全有效管理。

51 Sim-One自动驾驶仿真测试平台

51Sim-One是51WORLD自主研发的一款集静态和动态数据导入，测试场景案例编辑，传感器仿真，动力学仿真，可视化，测试与回放，虚拟数据集生成，在环测试等一体化的自动驾驶仿真与测试平台，功能模块覆盖自动驾驶仿真测试的全流程，兼具大规模，高精度和高真实感，原生使用灵活可扩展的分布式并行仿真架构，可部署在单机、私有云、公有云的环境。