车队遥测数据采集处理与API订阅分发架构

1. 用途和受众

1.1 预期用途

• 指导华为云上车队遥测数据采集、处理与 API 订阅分发架构的设计和开发。
• 为售前、解决方案设计、实施和审查提供可重用的架构模式。
• 作为解决方案手册、交付包或实际部署的架构基础。
• 定义安全性、可靠性、性能、成本、运营和合规性护栏。

1.2 目标受众

• 华为云 CCE 用户和 Kubernetes 集群管理员
• 车联网遥测数据平台架构师和开发人员
• 需要在华为云上构建车联网遥测数据接入与分发系统的企业技术团队
• 希望对齐跨区域容灾与数据网格治理最佳实践的华为云用户
  

2. 参考架构概述

2.1 架构描述

构建一个无服务器架构，使用数据即服务（DaaS）模式来采集、处理和交付车辆数据给车队所有者应用程序。将车辆遥测数据和诊断事件流式传输到实时流处理平台，原始事件存储至对象存储服务用于长期留存，最终通过数据 API 订阅模型向车队应用交付处理后的数据。

2.2 业务背景

2.3 架构优点

• 无服务器架构：使用 FunctionGraph 函数工作流，无需管理服务器，按需执行，自动弹性伸缩。
• 实时流处理：通过 DIS 数据接入服务和 CS 实时流计算服务，实现车辆遥测数据的秒级采集和处理。
• 数据长期留存：原始事件存储至 OBS 对象存储服务，支持低成本长期留存和合规要求。
• 事件驱动分发：通过 EG 事件网格和 DMS 分布式消息服务实现解耦的事件分发，支持多消费者并行订阅。
• 标准化 API 订阅：通过 APIG API 网关提供标准化的数据 API 订阅接口，车队应用可按需订阅处理后的数据。
• 统一安全管控：通过 IAM 统一身份认证与鉴权，保障数据采集和 API 访问的安全性。
• 全链路可观测：通过 CES 云监控和 AOM 应用运维管理实现全链路监控与告警。

2.4 设计关注点

2.5 典型架构

典型架构图

用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。

2.6 流程描述

1. 车辆产生遥测数据和诊断事件，通过互联网发送至华为云。
2. DIS（数据接入服务）接收并缓存车辆遥测数据流，提供数据缓冲和重传能力。
3. CS（实时流计算服务）从 DIS 消费数据流，进行实时流处理和数据转换。
4. 处理后的数据通过 EG（事件网格）进行事件路由和分发。
5. EG 将事件分发至 DMS（分布式消息服务）进行消息队列缓存。
6. DMS 触发 FunctionGraph（函数工作流）执行数据处理逻辑。
7. FunctionGraph 将处理后的数据写入 GeminiDB（云数据库）和 RDS（关系数据库）。
8. 同时，原始事件存储至 OBS（对象存储服务）用于长期留存。
9. 车队应用通过 APIG（API 网关）订阅数据 API，APIG 从 GeminiDB/RDS 查询处理后的数据返回给车队应用。
10. IAM 提供统一的身份认证与鉴权，保障数据采集和 API 访问安全。
11. CES（云监控）和 AOM（应用运维管理）提供全链路监控、指标采集和告警通知。

2.7 云服务产品清单

3. 参考链接

• 产品文档：
• 实施指南：
• 源代码或 IaC：
• 操作手册：
• 安全性和合规性映射：

4. 使用限制

• 本架构适用于车队规模 ≤ 万级车辆的场景，更大规模需评估 DIS 和 CS 的吞吐配额。
• 数据 API 订阅模式当前支持拉取（Pull）模式，推送（Push）模式需结合 EG 事件网格扩展。
• OBS 原始数据留存周期需根据合规要求配置生命周期策略。

附录 A. 术语和缩略语