ADAS/自动驾驶数据采集、标注、检索与分析数据湖架构
【摘要】 本架构基于华为云构建ADAS/自动驾驶数据采集、标注、检索与分析数据湖，通过IoT边缘接入、数据湖统一存储、AI模型训练与推理、全文检索与图分析等能力，实现自动驾驶海量多源异构数据的高效采集、治理、标注、分析与价值挖掘，加速自动驾驶算法迭代与商业化落地。
1. 用途和受众
1.1 预期用途
- 指导华为云上ADAS/自动驾驶数据湖架构的设计和开发。
- 为售前、解决方案设计、实施和审查提供可重用的架构模式。
- 作为解决方案手册、交付包或实际部署的架构基础。
- 定义安全性、可靠性、性能、成本、运营和合规性护栏。
1.2 目标受众
- 为云 IoTEdge/IoTDA 用户和车联网边缘计算开发人员
- 车联网遥测数据平台架构师和数据中台建设者
- 自动驾驶数据采集与场景数据管理团队
- 希望参考车联网遥测数据最佳实践架构的解决方案设计师和售前架构师
2. 参考架构概述
2.1 架构描述
本架构基于华为云构建端边云协同的ADAS/自动驾驶数据湖，涵盖数据采集、接入、存储、治理、标注、训练、检索与分析全流程。边缘侧通过IoTEdge进行数据预处理，云端通过IoTDA和DIS接入数据，OBS作为数据湖统一存储底座，DataArts-Studio和LakeFormation进行数据治理与元数据管理，MRS和DLI提供批处理和交互式分析，ModelArts覆盖数据标注到模型推理全流程，CSS和GES提供检索与图分析能力，整体架构通过IAM、KMS、WAF等保障安全合规。
涉及的主要云服务包括：IoTEdge、IoTDA（设备接入服务）、DIS（数据接入服务）、DC（云专线）、CDM（云数据迁移）、MRS（MapReduce服务）、CS（云流服务）、DMS-Kafka、CCE（云容器引擎）、FunctionGraph、DCS（分布式缓存服务）、GaussDB、GaussDB（NoSQL）、OBS（对象存储服务）、LakeFormation、DataArts-Studio、DLI（数据湖探索）、CSS（云搜索服务）、ModelArts、GES（图引擎服务）、APIG（API网关）、Moderation（内容审核）、IAM、KMS、CES（云监控）、WAF、ELB。
2.2 业务背景
| 项目 | 描述 |
|---|---|
| 业务问题 | 自动驾驶/ADAS场景下海量多源异构数据（车辆传感器数据、路测数据等）的采集、存储、标注、检索与分析面临数据量大（PB级）、类型复杂（图片/点云/视频/日志）、处理时效性要求高、合规安全要求严格等挑战 |
| 期望的结果 | 建立统一的数据湖架构，实现数据从边缘采集到云端存储、治理、标注、训练、检索的全链路自动化，提升数据流转效率与模型迭代速度 |
| 主要用户 | 自动驾驶算法团队、数据标注团队、平台运维团队、合规与安全团队 |
| 关键制约因素 | 数据量大（PB级）、多源异构数据格式、低延迟边缘接入要求、数据合规与隐私保护、跨区域数据同步带宽限制 |
| 成功指标 | 数据接入吞吐量、数据标注效率提升比例、模型训练迭代周期、数据检索响应延迟、系统可用性（≥99.9%） |
2.3 架构优点
- 端边云协同：通过IoTEdge和IoTDA实现边缘侧数据预处理与云端数据汇聚，降低传输带宽和延迟，提升数据采集效率。
- 数据湖统一存储：OBS作为统一存储底座，支持多源异构数据（图片、点云、视频、日志）的统一管理，12个9的数据持久性保障。
- 弹性数据处理：MRS和DLI提供批处理和交互式分析能力，FunctionGraph支持事件驱动的无服务器处理，按需弹性伸缩。
- AI全流程支持：ModelArts覆盖数据标注、模型训练、推理部署全流程，加速ADAS算法迭代与商业化落地。
- 全文检索与图分析：CSS提供日志和文档全文检索，GES支持关系图谱分析，满足数据检索与关联查询需求。
- 安全合规：IAM+KMS+Moderation提供身份认证、数据加密和内容审核，WAF防护Web攻击，满足自动驾驶数据合规要求。
- 高可用与可观测：ELB实现流量自动分发与故障转移，CES提供全链路监控告警，DataArts-Studio统一数据治理与调度。
2.4 设计关注点
| 效益 | 架构如何实现它 |
|---|---|
| 安全与合规 | IAM进行统一身份认证与权限管控，KMS管理密钥对数据加密，Moderation审核内容合规性，WAF防护Web层攻击 |
| 可靠性和弹性 | OBS提供12个9的数据持久性，CCE支持容器弹性伸缩，ELB实现流量自动分发与故障转移，DMS-Kafka多副本消息保障 |
| 性能和可扩展性 | DMS-Kafka高吞吐消息队列削峰填谷，DC专线保障传输带宽，MRS弹性MapReduce集群按需扩缩，DLI弹性查询 |
| 成本效益 | FunctionGraph无服务器按需付费，OBS分层存储降低冷数据成本，DLI弹性查询按量计费，CDM按需迁移 |
| 卓越运营 | CES全链路监控告警，DataArts-Studio数据治理与调度编排，LakeFormation统一元数据管理 |
| 交付敏捷性 | CCE容器化部署加速迭代，ModelArts预置算法与自动化流水线，APIG统一API管理快速集成 |
2.5 典型架构
典型架构图
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
2.6 流程描述
- 车辆传感器数据通过IoTEdge在边缘侧进行预处理和数据清洗，降低传输带宽和延迟。
- 预处理后的数据通过IoTDA和DIS接入华为云，DMS-Kafka作为消息缓冲实现削峰填谷。
- 原始数据落入OBS对象存储，作为数据湖统一存储底座，支持多源异构数据管理。
- DataArts-Studio和LakeFormation对数据进行治理、编目和元数据管理。
- MRS和DLI对数据进行批量处理和交互式分析，FunctionGraph处理事件驱动的轻量任务。
- ModelArts进行数据标注、模型训练和推理部署，支持ADAS算法全流程迭代。
- CSS对日志和文档提供全文检索，GES进行关系图谱分析，支持数据检索与关联查询。
- GaussDB和GaussDB(NoSQL)存储结构化和半结构化业务数据，DCS提供缓存加速。
- APIG统一对外提供API服务，Moderation审核内容合规性。
- IAM、KMS、WAF、CES分别提供身份认证、数据加密、安全防护和监控告警。
2.7 云服务产品清单
| 分类 | 服务或产品 | 推荐配置 |
|---|---|---|
| 访问 | APIG（API网关） | 按需实例，启用限流与鉴权 |
| 访问 | ELB（弹性负载均衡） | 共享型或独享型，根据流量选择 |
| 访问 | WAF（Web应用防火墙） | 标准版或专业版 |
| 应用 | CCE（云容器引擎） | 8核32G节点，按需弹性伸缩 |
| 应用 | FunctionGraph | 按需执行，无需预置资源 |
| 应用 | DCS（分布式缓存服务） | Redis 6.0，主备实例 8G |
| 计算 | ModelArts | GPU专属池，按模型训练需求配置 |
| 计算 | MRS（MapReduce服务） | 弹性集群，按需扩缩核心节点 |
| 数据 | OBS（对象存储服务） | 标准存储+低频存储分层 |
| 数据 | GaussDB | 通用增强型 8核32G |
| 数据 | GaussDB（NoSQL） | 4核16G，3副本 |
| 数据 | DLI（数据湖探索） | 按需弹性队列 |
| 数据 | LakeFormation | 标准实例 |
| 数据 | DataArts-Studio | 标准版实例 |
| 数据 | CSS（云搜索服务） | 8核32G集群，3节点 |
| 数据 | GES（图引擎服务） | 4核16G实例 |
| 消息 | DMS-Kafka | 3节点集群，按吞吐量配置分区 |
| 边缘 | IoTEdge | 边缘节点按设备规模部署 |
| 边缘 | IoTDA（设备接入服务） | 标准实例，按设备数选择规格 |
| 接入 | DIS（数据接入服务） | 按数据流配置通道 |
| 迁移 | DC（云专线） | 按带宽需求选择端口速率 |
| 迁移 | CDM（云数据迁移） | 按迁移量配置集群 |
| 安全 | IAM（统一身份认证） | 标准服务 |
| 安全 | KMS（密钥管理服务） | 标准服务 |
| 安全 | Moderation（内容审核） | 按调用量计费 |
| 运营 | CES（云监控） | 标准服务 |
3. 参考链接
- 产品文档：
- 实施指南：
- 源代码或 IaC：
- 操作手册：
- 安全性和合规性映射：
4. 使用限制
- OBS单桶最大容量无限制，但单个对象最大5TB，超过需分块上传。
- MRS集群最小节点数为3，弹性伸缩需预留资源缓冲时间。
- ModelArts GPU资源受区域配额限制，大规模训练需提前申请配额。
附录 A. 术语和缩略语
| 术语 | 定义 |
|---|---|
| IoTEdge | IoT边缘服务，在边缘侧提供设备接入与数据处理能力 |
| IoTDA | IoT设备接入服务，提供海量设备连接管理 |
| DIS | 数据接入服务，提供数据采集与接入通道 |
| DC | 云专线，提供专用网络连接 |
| CDM | 云数据迁移服务，支持批量数据迁移 |
| MRS | MapReduce服务，提供大数据处理集群 |
| CS | 云流服务，提供流式数据处理 |
| DMS-Kafka | 分布式消息服务Kafka版，提供高吞吐消息队列 |
| CCE | 云容器引擎，提供容器化应用运行环境 |
| FunctionGraph | 函数工作流，提供无服务器计算 |
| DCS | 分布式缓存服务，提供内存缓存 |
| GaussDB | 华为云关系型数据库 |
| OBS | 对象存储服务，提供海量对象存储 |
| LakeFormation | 湖仓构建服务，提供统一元数据管理 |
| DataArts-Studio | 数据工坊，提供数据治理与开发 |
| DLI | 数据湖探索，提供交互式SQL分析 |
| CSS | 云搜索服务，提供全文检索 |
| ModelArts | AI开发平台，提供模型训练与部署 |
| GES | 图引擎服务，提供图数据分析 |
| APIG | API网关，提供API管理 |
| Moderation | 内容审核服务，提供内容合规检查 |
| IAM | 统一身份认证服务 |
| KMS | 密钥管理服务，提供数据加密 |
| CES | 云监控服务，提供资源监控告警 |
| WAF | Web应用防火墙，提供Web安全防护 |
| ELB | 弹性负载均衡，提供流量分发 |
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）