【云驻共创】“乐高式”自动驾驶研发开放平台,让开发更简单灵活高效

举报
府学路18号车神 发表于 2022/07/18 16:35:53 2022/07/18
【摘要】 自动驾驶出行服务已迈过商业化门槛,海量数据存储、处理及安全合规对平台提出更高要求,华为云坚持开放生态,携手伙伴打造“乐高式”自动驾驶研发平台解决方案,可按需搭建,灵活组合,该方案核心代码框架Ploto已开源。

一、2周构建自动驾驶研发平台的秘诀详解

自动驾驶商业化落地加速

中国自动驾驶行业目前面临两个较大的变化。首先,去年11月北京正式开放自动化驾驶的商业化试点,这意味着自动化服务迈过了商业化门槛。与此同时,行业预测在2022年中国路测驾驶里程将达到2132万公里,达到2021年的3倍以上,对应的路测数据预计可达4PB。海量的路测数据的存储和计算,对于自动驾驶研发平台的建设提出了巨大挑战。

海量数据的存储、处理及安全合规对数据管理提出更高要求

我们可以看到,挑战主要来自于以下四个方面。


为了快速的帮助用户搭建一个自动驾驶研发平台,并且有效地解决上述的挑战,华为云携手伙伴联合发布“乐高式”自动驾驶研发平台解决方案。由此可快速实现2周搭建自动驾驶平台的目标。

 

华为云自动驾驶研发平台业务全景图

这里介绍一下华为云自动驾驶研发平台解决的架构。可以看到,有安全合规、平台管理、算法训练、场景仿真和云资源管理等模块组成。


我们的方案主要的特点是支持用户灵活部署,既支持用户按需模块部署,也能支持用户快速地构建端到端的平台。还有一个特点,支持自动驾驶专业软件服务商集成,比如支持标注领域的新城数据,仿真领域的51world集成进来。同时也希望有更多的专业软件服务商集成进来。

聚焦三个自动驾驶研发场景

华为云自动驾驶研发平台解决方案主要服务于三个场景,首先是自动驾驶路测数据上云,我们为合作伙伴就近提供了介入站点,拷贝速度提升4倍,自动驾驶算法提升50%,性能提升了30%

自定驾驶研发平台数据流图

如何快速部署一个是自动驾驶平台,从左往右我们可以看到,首先是路测车辆的数据产生,可以通过华为云的数据接入服务将数据传入对象存储OBS进行数据脱敏。脱敏后的数据即可进入数据预处理模块到函数工作流FGS,再到场景提取集群。然后将场景数据传入标注平台将数据进行标注,集成好数据后再将数据传入模型训练平台,进行仿真测试等环节。

 

华为云自动驾驶研发平台开源

现在给大家介绍一下华为云自动驾驶研发平台开源代码库“Ploto”,其中的整个架构设计如下图所示,希望用户使用这个开源代码库可以快速的搭建自动驾驶研发平台。


我们希望所有的模块通过少数的几个API就能实现功能对接,如右下角场景提取、仿真测试的API,按照路径即可实现功能的打通。在增加3-5个辅助API来完善平台应用性即可。 

开源代码库:Vue+Django快速上手开发工作

Ploto开源项目前端采用Vue搭配ElementEcharts开发界面,拥有简单高效、上手快、门槛低的特点,对用户的开发比较友好。

服务端采用Django全线框架,Celery实现定时任务,mysql做数据存储,同时可一键部署华为云。

 

伙伴快速接入:<10个标准API,快速接入业务流程

接下来我们看下专业软件服务商如何接入?

以禾多科技的数据包管理和场景抽取来说,仅需10API即可。前五个API是新增查询,然后是三个查询的API;其中核心为场景查询,其余都是辅助的API来完善应用性,支持用户自定义等。

  

用户自主设计数据流程

对于一个数据预处理的流程,除了场景提取以外还有其他的任务,例如数据质量初筛、高精度地图和天气等第三方信息的融合。这些业务的先后顺序可能都不一样,那么用户怎么快速接入平台并且接入自定义设计呢?

将我们的业务处理模块基于华为云的容器进行部署,然后再修改下面红色框中的两行代码,将OBS数据和业务处理流数据进行关联,即可完成自动化的部署和调度。这样OBS数据新增以后,自动处理业务处理单元,然后将结果输出到新的OBS中。这样就可以实现全流程的自动化触发。


开源代码库Ploto访问的路径可以从右下角二维码扫描进入。今天Ploto的发布只是一个开始,让用户快速的搭建和应用自动驾驶平台。

二、5行代码抽取场景

数据处理是数据驱动的基石

我们常说自动驾驶是一个数据驱动的技术,从刚介绍的系统框图当中可以看到自动驾驶由很多个模块构成,而数据处理则是一个模块一个技术。特别是量产自动驾驶的到来,大量的车会回传海量的数据,形成所谓的数据风暴。


如何从数据风暴中推动自动驾驶的迭代是每一个从业者所面临的一个问题。

 

打通数据闭环链路,持续迭代自动驾驶算法

在量产自动驾驶平台,禾多科技也是一个强烈的支持者。针对多点、多地区、长距离进行了常态化测试,同时针对一些不普遍的地区也进行了专项测试。将这些大量的场景数据进行了汇总和提取,为了应对全国各地出现的数据风暴。

场景是什么

场景:在特定的时间、特定地点、特定条件下的复合特定功能需求的数据

场景提取:从数据流中,根据场景定义提取场景的操作


我们的目标就是要从不同的场景中提取有用的数据让我们的自动驾驶更加的安全、智能。

 

数据场景化是自动驾驶的必经之路

场景提取从本质上来讲是一个从海量数据场景化的这样一个操作,我们为了从大量的数据中提取有用的数据来解决长尾的问题,那么数据的场景化是必不可少的。场景是数据需求的基本单位,数据场景化也是数据输出的一个中心环节,能否有足够强的中枢环节将是一个公司的技术壁垒。


车端 VS 云端

场景的提取可以在车端或者云端,在车端的场景提取会受限于一些先决条件,比如车端的算力比较低,基于规则开发的一些算法,一般会把场景存成二进制的格式和小体量的数据包,这样可以简单描述场景。

在云端可以实现高算力的特点,充分利用AI算法,也可以将这些场景存成一定的格式,这样可以实现高并发的处理方式。

场景提取的方法

对于不同的场景会有不一样的需求,场景提取方法总的说来有四个步骤:1)场景需求;2)元素标签;3)场景定义;4)场景提取。

  

禾多场景提取的亮点

经过多年的积累,禾多科技总结了很多的经验。基于OpenX的标准形成了一个统一的标签体系,可以保证各个部门之间的标签对齐且场景一致。同时根据对量产与市场的需求,我们也利用了搭积木的这样一种方式,允许用户可以自定义,方便后期迭代。

自动挖掘难例场景

除了对自动驾驶的一些常态化场景进行挖掘,更重要的是一些不常见的难例场景,这些难例场景直击我们算法的痛点,这样才可以真正解决我们未来可能会遇到的问题。通常难例场景有两种表现手段,第一种为通过明确的系统异常表现;第二种则是通过信息之间的明显差异来表示。

  

云端场景提取的技术实现

与华为云的合作,充分利用了华为云提供的云容器引擎CCE、云容器实例CCI、对象存储服务OBSSWR容器镜像服务等云基础设施。下图左侧则为禾多科技实现的功能,包括Web平台、场景管理服务和任务调度管理等。

实现的技术可以实现PB级别的数据文件及场景数据的管理,同时可以高效调度数千实例执行任务,也能够高效智能提取自动驾驶场景片段。

 

三、如何应对仿真测试魔鬼挑战,日行千万里

自动驾驶到了「量产」的前夜

L2+的自动驾驶已经量产,L3级别的自动驾驶也将在22年进行量产,在高速路和城市路中相比L2会有一个飞跃,传感器会增加十几个,高精地图变得将会尤其重要。

云仿真加速自动驾驶「量产」落地

为了加速云仿真自动驾驶的量产落地,华为云提供了自动驾驶平台研发的完整解决方案。不管是L2的辅助驾驶还是L3的自动驾驶都需要进行大量的测试。


因此,云仿真可以加速自动驾驶的量产落地。

自动驾驶仿真上云优势

数据实时获取,算法日日更新

  • 打通日常行驶车端数据与算法测试的双向通道,实现海量数据训练与边缘场景提取,满足OTA升级的功能安全测试时效性,并能适配本地化的交通场景。

 

并发加速计算,算力随心延展

  • 采用云原生架构,实现海量道路场景的仿真测试,灵动调度大规模数据密集型并发算力。

 

云上生态完备,优化资源配置

  • 云上具备仿真所需的多种上下游数据与服务,例如数据标注、场景库,第三方仿真模型等,避免重复投资与研发,更灵活的分配行业基础共性的技术能力。

 

无需本地部署,随时随地访问

  • 算法开发与仿真测试工程团队无需配置高性能桌面工作站,轻松实现异地远程多团队协作。

 

数据轻松管理,使用安全可靠

  • 对场景库,算法,地图,传感器模型,动力学模型与测试评价报告等数字资产安全有效管理。

 

51 Sim-One自动驾驶仿真测试平台

51Sim-One51WORLD自主研发的一款集静态和动态数据导入,测试场景案例编辑,传感器仿真,动力学仿真,可视化,测试与回放,虚拟数据集生成,在环测试等一体化的自动驾驶仿真与测试平台,功能模块覆盖自动驾驶仿真测试的全流程,兼具大规模,高精度和高真实感,原生使用灵活可扩展的分布式并行仿真架构,可部署在单机、私有云、公有云的环境。


基于华为云的SimOne工作流程

下面是SimOne基于华为云的整个场景流程,包括场景仿真,到仿真平台,再到测试评价整个完整流程,将整个架构的内容串了起来。场景仿真这块,我们可以通过世界编辑器生产高精地图,通过场景编辑器生成OpenScenario场景,同时也可以通过大数据生成大量的数据放在场景中。

  

SimOne多种算法测试模式

SimOne总共有三种测试模式,包括决策控制闭环、感知开环和感知决策控制闭环测试模型。

第一种是云仿真最主要的并发测试模式,一般不会使用到物理传感器。第二种是感知开环,主要是用于在环的测试和评价,可以通过传感器的测试进行对比。第三种结合前面两种,可以更好的进行测试与评价。

SimOne场景仿真 编辑、生成和引擎

场景编辑这块,SimOne提供了OpenDRIVE地图编辑器以及OpenSCENARIO场景编辑器。场景生成通过语义场景泛化工具链和实采数据转换工具链来生成场景。使用的引擎也是业界领先的OpenSCENARIO场景仿真引擎。

SimOne感知仿真

SimOne 感知仿真建立在51Sim- One 高真实感和全要素(视觉+物理特性)的3D场景基础之上,以较低成本解决了传感器数据两难问题,即:极限工况下的数据采集难和精准标注难,有效升级感知和融合算法的测试和训练

  • 物理真实的光照和参数化的天气系统
  • 基于真实传感器标定的物理级摄像头、激光雷达和毫米波雷达仿真
  • 支持车侧、路侧、空侧等多个视角的2D/3D包围盒真值及深度图、语义分割图、实例分割图、光流等像素级真值输出。
  • 多传感器时钟同步和联合仿真
  • 多种传感器硬件在环仿真

SimOne感知仿真 – 感知真值输出

  • 摄像头视频流、2D/3D包围盒、语义分割图、实例分割图、深度图、光流等
  • 激光雷达点云流、3D包围盒】语义分割点云等
  • 目标物的相对位置、类型、大小和运动信息等

Open SimOne开源开放

黑盒的商业软件无法满足迅速增长且变化的仿真需求,通过仿真内核和基础架构的开源开放,用户既可以开发自己的仿真模块,又可以与现有的仿真工具链深度集成,形成了用户内部仿真团队及产业链生态伙伴的多方共赢。

  • 仿真内核开源:

OpenSim-One 51Sim-One的开源版本。基于OpenSim-One以及51Sim-One标准版相关商业化横块,用户可以根据自己的需求对仿真平台进行定制,开发额外的横块,或集成现有的仿真工具。也可以用来解决其他行业的仿真问题,如机器人仿真、轨道交通仿真、船舶仿真、航空器仿真等。

开源地址:https://gitee.com/OpenSimOne

 

  • 仿真生态开放:

场景编辑支持自定义3D美术场景和主车模型的导入

动态仿真基于 OpenX标准,与多家场景库提供商合作共建生态仿真API开源支持多个HILVIL供应商,集成商二次开发

采集数据仿真参与制定国家标准智能网联数据采集格式,支持各家主机厂标准数据接入开放测试评价支持使用脚本语言或标准 API 编写测试规则,完成定制化化的测试评价

 

本文参与华为云社区【内容共创】活动第18期。
https://bbs.huaweicloud.cn/blogs/364560

任务3“乐高式”自动驾驶研发开放平台,让开发更简单灵活高效

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。