1. 用途和受众
1.1 预期用途
- 指导华为云上车联网架构的设计和开发。
- 为售前、解决方案设计、实施和审查提供可重用的架构模式。
- 作为解决方案手册、交付包或实际部署的架构基础。
- 定义安全性、可靠性、性能、成本、运营和合规性护栏。
1.2 目标受众
- 华为云车联网解决方案架构师和设计人员
- 跨区域车辆数据平台运维工程师
- 需要在华为云上构建车联网数据接入与分发系统的企业技术团队
- 关注车辆数据跨区域合规与PII脱敏治理的合规管理人员
- 希望对标全球车联网最佳实践实现本地化部署的汽车行业技术决策者
2. 参考架构概述
本系列包含以下五个参考架构:
| 编号 |
架构名称 |
核心能力 |
| 2.1 |
跨区域车辆发现与本地化配置解析架构 |
GA全局接入、DNS延迟路由、GaussDB跨区域复制 |
| 2.2 |
车辆发现——数据接入管道架构 |
IoTDA设备接入、Kafka消息队列、Flink流处理 |
| 2.3 |
跨区域车辆发现与本地化配置解析架构遥测分发架构 |
APIG API网关、FunctionGraph事件处理、EG事件网格 |
| 2.4 |
跨区域车辆发现与本地化配置解析架构数据网格架构 |
DataArts数据治理、LakeFormation湖仓一体、数据门户 |
| 2.5 |
跨区域车辆发现与本地化配置解析架构数据网格架构-PII脱敏保护与合规治理 |
PII脱敏、GDPR合规、OBS细粒度访问控制 |
2.1 跨区域车辆发现与本地化配置解析架构
架构描述
多区域全局发现服务,为车辆生命周期各阶段提供本地化和配置。车辆通过GA全局接入,DNS按延迟路由到最近区域,跨区域数据通过GaussDB复制保持一致。
业务背景
| 项目 |
描述 |
| 业务问题 |
连接车辆在全球多区域部署时,如何实现低延迟的本地化接入与跨区域数据一致性 |
| 期望的结果 |
车辆就近接入最近区域,降低访问延迟;跨区域配置数据实时同步,确保全局一致性 |
| 主要用户 |
车联网平台运营方、车辆制造商、车队管理方 |
| 关键制约因素 |
多区域数据同步延迟、区域间网络带宽限制、数据合规与主权要求 |
| 成功指标 |
接入延迟<100ms、跨区域同步延迟<1s、服务可用性>99.9% |
架构优点
- 多区域全局接入:通过GA(全局接入)实现跨区域统一入口,用户自动路由至最近区域,降低访问延迟
- DNS智能路由:DNS按延迟动态路由,确保车辆始终连接最优区域节点
- 跨区域数据一致性:GaussDB跨区域复制机制保障全局数据一致,支持多活部署
- 弹性伸缩:CCE容器引擎支持按需弹性伸缩,应对车辆接入峰值流量
- 高性能缓存:DCS分布式缓存加速配置读取,减轻数据库压力
- 高可用负载均衡:ELB负载均衡分发流量,ER企业路由器实现多区域网络互通
设计关注点
| 效益 |
架构如何实现它 |
| 安全与合规 |
通过IAM统一身份认证,VPC网络隔离,GaussDB审计日志记录所有数据访问操作 |
| 可靠性和弹性 |
GaussDB跨区域复制提供数据级容灾,CCE支持多可用区部署,ELB健康检查自动剔除故障节点 |
| 性能和可扩展性 |
DCS缓存加速读取,CCE弹性伸缩应对流量峰值,DNS按延迟路由优化接入性能 |
| 成本效益 |
按需弹性伸缩避免资源浪费,DCS缓存减少数据库访问成本,GA统一入口简化网络架构 |
| 卓越运营 |
CCE容器化部署统一运维,GaussDB托管服务降低DBA运维负担,云监控实时告警 |
| 交付敏捷性 |
CCE容器化快速部署迭代,IaC模板化多区域环境一键发放,ER简化网络配置管理 |
典型架构
跨区域车辆发现与本地化配置解析架构
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
流程描述
- 车辆通过互联网发起连接请求,经GA全局接入网关统一入口
- DNS根据车辆地理位置和延迟路由到最近区域
- ELB负载均衡将请求分发到CCE容器集群中的服务实例
- 服务实例从DCS缓存读取本地化配置,缓存未命中时回源GaussDB
- GaussDB通过跨区域复制同步配置数据,保持多区域数据一致
- ER企业路由器实现跨区域VPC网络互通,支撑跨区域数据复制通道
云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 网络 |
DNS |
公网解析,按延迟路由 |
| 网络 |
GA(全局接入) |
跨区域统一入口 |
| 网络 |
ER(企业路由器) |
跨区域VPC互通 |
| 网络 |
ELB(弹性负载均衡) |
流量分发,健康检查 |
| 计算 |
CCE(云容器引擎) |
容器化部署,弹性伸缩 |
| 数据库 |
GaussDB |
跨区域复制,数据一致性 |
| 缓存 |
DCS(分布式缓存) |
配置缓存,加速读取 |
使用限制
- GaussDB跨区域复制存在秒级延迟,对强一致性场景需评估业务容忍度
- GA全局接入需在目标区域均部署服务,跨区域调用产生额外网络费用
- DNS路由策略依赖各区域探测点质量,需定期评估路由准确性
2.2 车辆发现——数据接入管道架构
架构描述
可扩展端点提供连接车队的数据接入和通信服务。车辆通过MQTT流式上传和批量上传两种方式接入,IoTDA规则直接集成Kafka解码解压,CS(Flink)订阅Kafka流处理并写入GaussDB,批量数据通过预签名URL直传OBS。
业务背景
| 项目 |
描述 |
| 业务问题 |
大规模连接车队如何高效接入并处理海量车辆数据(流式与批量混合场景) |
| 期望的结果 |
流式数据实时处理入库,批量数据高效直传对象存储,双通道满足不同数据场景需求 |
| 主要用户 |
车联网平台运营方、车队管理方、数据分析团队 |
| 关键制约因素 |
车辆数据量大且持续增长、流式与批量数据混合处理、数据安全与加密要求 |
| 成功指标 |
MQTT消息吞吐>10万TPS、流处理延迟<500ms、批量上传成功率>99.9% |
架构优点
- 双通道数据接入:MQTT流式上传与预签名URL批量上传并行,灵活适配不同数据场景
- IoTDA-Kafka直连:IoTDA规则直接集成Kafka,减少中间环节,降低消息延迟
- 流批一体处理:CS(Flink)流处理实时写入GaussDB,OBS批量存储支持离线分析
- 端到端加密:DEW密钥管理+KMS加密服务,保障数据传输与存储安全
- 弹性可扩展:Kafka分区弹性扩展,Flink作业并行度动态调整,应对数据峰值
- 数据缓存加速:DCS缓存热点数据,提升查询响应速度
设计关注点
| 效益 |
架构如何实现它 |
| 安全与合规 |
VPC网络隔离,DEW+KMS端到端加密,IoTDA设备身份认证与权限控制 |
| 可靠性和弹性 |
Kafka多副本保障消息可靠,Flink Checkpoint支持故障恢复,OBS多AZ存储高可用 |
| 性能和可扩展性 |
Kafka分区水平扩展,Flink并行度动态调整,IoTDA支持百万级设备并发接入 |
| 成本效益 |
流批分离按需分配资源,OBS低成本存储批量数据,DCS缓存减少重复计算 |
| 卓越运营 |
Kafka托管服务免运维,Flink作业监控指标完善,IoTDA设备管理可视化 |
| 交付敏捷性 |
IoTDA规则配置即生效,Flink SQL快速开发流处理逻辑,预签名URL简化批量上传 |
典型架构
车辆发现——数据接入管道架构
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
流程描述
- 车辆通过MQTT协议连接IoTDA,流式上传实时数据
- IoTDA规则引擎将消息直接推送至Kafka Topic,完成解码解压
- CS(Flink)订阅Kafka Topic,流式处理并写入GaussDB持久化
- 批量数据场景下,车辆通过预签名URL直接上传至OBS对象存储
- DCS缓存热点查询数据,加速后续读取
- DEW+KMS提供密钥管理与加密服务,保障全链路数据安全
云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 网络 |
VPC |
虚拟私有云,网络隔离 |
| 物联网 |
IoTDA |
设备接入,规则引擎 |
| 消息 |
Kafka |
消息队列,削峰填谷 |
| 计算 |
CS(Flink) |
流处理引擎,实时计算 |
| 数据库 |
GaussDB |
数据持久化存储 |
| 缓存 |
DCS |
分布式缓存,加速读取 |
| 存储 |
OBS |
对象存储,批量数据 |
| 安全 |
DEW |
数据加密服务 |
| 安全 |
KMS |
密钥管理服务 |
使用限制
- Kafka分区数限制单Topic最大吞吐,超大规模场景需评估分区规划
- Flink Checkpoint间隔影响故障恢复延迟与状态存储成本
- 预签名URL有时效限制,批量上传需在有效期内完成
2.3 跨区域车辆发现与本地化配置解析架构遥测分发架构
架构描述
基于API网关的多区域数据分发平台。车辆通过IoTDA上报状态,GaussDB全局表跨区域复制,DDB Stream触发FunctionGraph流处理函数,事件经EG事件网格丰富后通过APIG推送给在线客户端,DCS缓存确保仅在线客户端收到更新。
业务背景
| 项目 |
描述 |
| 业务问题 |
如何将车辆遥测数据实时、可靠地分发给多区域在线客户端,同时避免离线客户端无效推送 |
| 期望的结果 |
在线客户端实时接收车辆状态更新,离线客户端不产生无效推送,多区域数据同步一致 |
| 主要用户 |
车联网平台运营方、终端APP用户、第三方服务集成方 |
| 关键制约因素 |
实时性要求高、多区域部署复杂、在线状态判断准确性、API网关并发限制 |
| 成功指标 |
事件分发延迟<200ms、在线客户端推送成功率>99.9%、多区域同步延迟<1s |
架构优点
- 事件驱动架构:EG事件网格丰富事件内容,FunctionGraph无服务器函数处理,按需触发零闲置成本
- 多区域数据同步:GaussDB全局表跨区域复制,保障多区域数据一致性
- 智能在线推送:DCS缓存客户端在线状态,仅对在线客户端推送,避免无效流量
- API网关统一入口:APIG提供标准化API接口,支持认证、限流、监控,简化客户端接入
- CDN加速分发:CDN缓存静态资源与API响应,降低跨区域访问延迟
- 安全合规:IAM统一身份管理,CCM证书管理保障HTTPS安全传输
设计关注点
| 效益 |
架构如何实现它 |
| 安全与合规 |
IAM统一身份认证与权限控制,APIG内置安全防护,CCM管理TLS证书保障传输安全 |
| 可靠性和弹性 |
GaussDB跨区域复制容灾,FunctionGraph自动重试,EG事件网格保障消息可靠投递 |
| 性能和可扩展性 |
FunctionGraph按需弹性伸缩,APIG高并发处理,CDN边缘缓存加速响应 |
| 成本效益 |
Serverless按调用计费零闲置成本,DCS缓存减少重复推送,CDN降低源站压力 |
| 卓越运营 |
APIG全链路监控与日志,EG事件追踪可视化,FunctionGraph自动伸缩免运维 |
| 交付敏捷性 |
FunctionGraph快速部署事件处理逻辑,APIG API定义即发布,EG事件规则配置即生效 |
典型架构
跨区域车辆发现与本地化配置解析架构遥测分发架构
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
流程描述
- 车辆通过IoTDA上报遥测状态数据
- GaussDB全局表跨区域复制,保障多区域数据一致
- GaussDB Stream变更数据捕获,触发FunctionGraph流处理函数
- FunctionGraph处理后的事件经EG事件网格丰富和路由
- EG根据DCS中的客户端在线状态,仅对在线客户端触发推送
- APIG接收推送请求,通过CDN加速将更新分发给在线客户端
云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 物联网 |
IoTDA |
设备接入,遥测数据上报 |
| 网络 |
CDN |
内容分发加速 |
| 网络 |
DNS |
域名解析,区域路由 |
| 网络 |
APIG |
API网关,统一接口 |
| 安全 |
IAM |
身份认证与访问控制 |
| 安全 |
CCM |
证书管理,TLS加密 |
| 计算 |
FunctionGraph |
无服务器函数,事件处理 |
| 事件 |
EG |
事件网格,事件路由与丰富 |
| 数据库 |
GaussDB |
全局表跨区域复制 |
| 缓存 |
DCS |
在线状态缓存,智能推送 |
使用限制
- FunctionGraph函数有执行时长限制,复杂处理逻辑需拆分为多个函数
- GaussDB Stream变更捕获存在毫秒级延迟,极低延迟场景需评估
- DCS在线状态缓存需与客户端心跳机制配合,状态过期时间需合理设置
2.4 跨区域车辆发现与本地化配置解析架构数据网格架构
架构描述
自定义数据网格服务,通过托管流程向终端消费者交付数据产品。生产者发布数据产品到业务目录,消费者通过数据门户浏览搜索、申请访问权限,数据所有者审批后,消费团队使用数据进行AI/ML、分析和ETL。
业务背景
| 项目 |
描述 |
| 业务问题 |
车联网多团队间如何安全、规范地共享数据产品,实现数据资产化与自助消费 |
| 期望的结果 |
数据生产者自助发布数据产品,消费者自助发现并申请使用,审批流程规范化管理 |
| 主要用户 |
数据生产团队、数据消费团队、数据治理团队、AI/ML工程师 |
| 关键制约因素 |
数据权限管控复杂、多团队协作流程、数据质量与血缘追踪、合规审计要求 |
| 成功指标 |
数据产品上架周期<1周、申请审批响应<2工作日、数据消费满意度>90% |
架构优点
- 数据资产化管理:LakeFormation统一数据目录与权限,实现数据产品化发布与消费
- 自助服务门户:数据门户支持浏览、搜索、申请,消费者自助发现数据产品
- 审批流程规范化:数据所有者审批访问权限,保障数据安全与合规
- 多场景消费:DLI交互式分析、ModelArts AI/ML训练、DLV数据可视化,满足多元需求
- 数据集成治理:DataArts一站式数据集成开发治理,含数据质量与血缘追踪
- 弹性存储:OBS海量数据存储,按需扩容,支撑大规模数据产品
设计关注点
| 效益 |
架构如何实现它 |
| 安全与合规 |
LakeFormation细粒度权限控制,OBS桶策略隔离,DataArts操作审计日志 |
| 可靠性和弹性 |
OBS多AZ高可用存储,DLI弹性计算资源,ModelArts训练任务自动容错 |
| 性能和可扩展性 |
DLI弹性查询引擎按需扩容,OBS并行读取加速,ModelArts分布式训练 |
| 成本效益 |
DLI按查询计费无闲置成本,OBS分层存储降低成本,DataArts统一平台减少工具采购 |
| 卓越运营 |
DataArts全链路数据治理,LakeFormation统一权限管理,DLV可视化运营看板 |
| 交付敏捷性 |
数据门户自助化流程,DataArts可视化开发,ModelArts预置算法加速AI开发 |
典型架构
跨区域车辆发现与本地化配置解析架构数据网格架构
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
流程描述
- 数据生产者通过DataArts开发数据产品,发布到LakeFormation业务目录
- 数据消费者通过数据门户浏览、搜索可用数据产品
- 消费者提交数据访问权限申请,数据所有者审批
- 审批通过后,消费团队使用DLI进行交互式分析查询
- AI/ML团队通过ModelArts使用数据产品进行模型训练
- DLV将分析结果可视化展示,DataArts执行ETL数据加工
云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 物联网 |
IoTDA |
设备数据接入 |
| 存储 |
OBS |
海量数据存储 |
| 数据治理 |
DataArts |
数据集成开发治理 |
| 数据治理 |
LakeFormation |
数据目录与权限管理 |
| 分析 |
DLI |
交互式数据分析 |
| 可视化 |
DLV |
数据可视化 |
| AI |
ModelArts |
AI/ML模型开发训练 |
使用限制
- LakeFormation权限配置较复杂,需建立清晰的权限模型与角色定义
- DLI查询资源受弹性池限制,超大数据集查询需评估资源配额
- 数据产品审批流程依赖人工操作,审批效率影响数据消费时效
2.5 跨区域车辆发现与本地化配置解析架构数据网格架构-PII脱敏保护与合规治理
架构描述
PI数据脱敏保护与合规治理(EU Data Act / GDPR)。对PII数据进行脱敏与匿名化,使用OBS辅助桶存储脱敏数据,DataArts执行脱敏ETL任务;遵守EU Data Act/GDPR,OBS提供细粒度访问控制、地理位置限制、静态加密与监控日志。
业务背景
| 项目 |
描述 |
| 业务问题 |
车联网数据中包含大量PII个人信息,如何在不影响数据分析价值的前提下实现脱敏保护与合规治理 |
| 期望的结果 |
PII数据脱敏后安全可用,满足EU Data Act/GDPR合规要求,脱敏数据仍保持分析价值 |
| 主要用户 |
数据合规团队、数据工程团队、数据分析团队、法务与审计部门 |
| 关键制约因素 |
GDPR/EU Data Act严格合规要求、脱敏算法对数据可用性影响、跨区域数据传输限制 |
| 成功指标 |
PII字段脱敏覆盖率100%、合规审计通过率100%、脱敏任务执行成功率>99.9% |
架构优点
- PII数据脱敏:DataArts执行脱敏ETL任务,支持多种脱敏算法(掩码、替换、哈希等)
- 合规治理:满足EU Data Act/GDPR要求,OBS细粒度访问控制与地理位置限制
- 数据安全存储:OBS静态加密保护脱敏数据,辅助桶隔离原始与脱敏数据
- 审计可追溯:OBS监控日志记录所有访问操作,支持合规审计与追溯
- 数据可用性:脱敏后数据保持统计分析价值,支持AI/ML训练与分析查询
- 统一治理平台:DataArts+LakeFormation统一数据治理,脱敏规则集中管理与版本控制
设计关注点
| 效益 |
架构如何实现它 |
| 安全与合规 |
OBS细粒度访问控制+地理位置限制+静态加密,满足GDPR数据主权要求;DataArts脱敏任务审计日志 |
| 可靠性和弹性 |
OBS多AZ高可用存储脱敏数据,DataArts ETL任务失败自动重试,DLI弹性查询资源 |
| 性能和可扩展性 |
DataArts并行ETL加速脱敏处理,OBS并行读写支撑大规模数据,DLI弹性分析 |
| 成本效益 |
OBS分层存储降低脱敏数据存储成本,DataArts按需调度ETL资源,避免闲置浪费 |
| 卓越运营 |
DataArts全链路监控脱敏任务,OBS访问日志自动归档审计,LakeFormation权限统一管理 |
| 交付敏捷性 |
DataArts可视化配置脱敏规则,OBS桶策略快速部署合规控制,DLV可视化合规看板 |
典型架构
跨区域车辆发现与本地化配置解析架构数据网格架构-PII脱敏保护与合规治理
用实际服务替换通用节点。显示相关的区域、可用区、VPC、子网、信任边界、入口和出口边界。
流程描述
- 车辆PII数据通过IoTDA接入,原始数据存储至OBS主桶
- DataArts调度脱敏ETL任务,读取原始数据并执行脱敏算法
- 脱敏后的数据写入OBS辅助桶,与原始数据物理隔离
- OBS对辅助桶配置细粒度访问控制、地理位置限制与静态加密
- 数据分析团队通过DLI查询脱敏数据,ModelArts使用脱敏数据训练模型
- OBS监控日志记录所有访问操作,支撑GDPR合规审计
云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 物联网 |
IoTDA |
设备数据接入 |
| 存储 |
OBS |
对象存储,脱敏数据存储与访问控制 |
| 数据治理 |
DataArts |
脱敏ETL任务执行 |
| 数据治理 |
LakeFormation |
数据权限统一管理 |
| 分析 |
DLI |
脱敏数据交互式分析 |
| 可视化 |
DLV |
合规治理可视化看板 |
| AI |
ModelArts |
基于脱敏数据的AI/ML训练 |
使用限制
- 脱敏算法选择影响数据可用性,需在隐私保护与数据分析价值间权衡
- GDPR跨区域数据传输限制可能影响多区域脱敏任务调度
- OBS地理位置限制需精确配置,避免误拦截合法访问
3. 参考链接
- 产品文档:
- 实施指南:
- 源代码或 IaC:
- 操作手册:
- 安全性和合规性映射:
附录 A. 术语和缩略语
| 术语 |
定义 |
| GA |
Global Accelerator,全局接入,提供跨区域统一接入入口 |
| ER |
Enterprise Router,企业路由器,实现跨区域VPC网络互通 |
| ELB |
Elastic Load Balance,弹性负载均衡,分发流量并健康检查 |
| CCE |
Cloud Container Engine,云容器引擎,容器化应用部署平台 |
| GaussDB |
华为云分布式数据库,支持跨区域复制 |
| DCS |
Distributed Cache Service,分布式缓存服务 |
| DNS |
Domain Name System,域名解析系统 |
| IoTDA |
IoT Device Access,物联网设备接入服务 |
| Kafka |
分布式消息队列,高吞吐流式数据管道 |
| CS(Flink) |
Cloud Stream Service,基于Flink的流处理服务 |
| OBS |
Object Storage Service,对象存储服务 |
| DEW |
Data Encryption Workshop,数据加密服务 |
| KMS |
Key Management Service,密钥管理服务 |
| VPC |
Virtual Private Cloud,虚拟私有云 |
| APIG |
API Gateway,API网关服务 |
| FunctionGraph |
无服务器函数计算服务,按需执行 |
| EG |
EventGrid,事件网格服务,事件路由与丰富 |
| CDN |
Content Delivery Network,内容分发网络 |
| CCM |
Cloud Certificate Manager,云证书管理 |
| IAM |
Identity and Access Management,统一身份认证 |
| DataArts |
数据治理平台,一站式数据集成开发治理 |
| LakeFormation |
湖仓一体,数据目录与权限管理 |
| DLI |
Data Lake Insight,交互式数据分析服务 |
| DLV |
Data Lake Visualization,数据可视化服务 |
| ModelArts |
AI开发平台,模型训练与部署 |
| PII |
Personally Identifiable Information,个人可识别信息 |
| GDPR |
General Data Protection Regulation,通用数据保护条例 |
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
评论(0)