DataArts Studio数据架构——基于模型驱动的智能自动化流水线建设案例
背景介绍
规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。同时与周边服务数据治理、数据资产等联接,协助用户在模型创建发布后,自动化创建相关联同步作业流水线。
当模型创建保存成功后,点击发布。发布成功后会自动进行物理表、数据资产、质量作业等的自动化创建或更新。用户可以在配置中心选择需要自动化流水线中包含哪些功能。
1 码表
1.1 新建码表
以新建“付款方式”码表为例。在码表管理页面,在码表目录树中选择一个目录,然后在右侧单击“新建”按钮。
在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行单击“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加数值。保存并发布创建的码表。
2 关系建模
在关系建模中,分别新建SDI层和DWI层两个关系模型,并通过逆向数据库导入原始数据表到SDI层的关系模型中,在DWI层模型中新建一个“标准出行数据”的标准化的业务表。
2.1 创建模型
在规范设计控制台,单击左侧导航树中的“关系建模”,如果当前未创建过关系模型,系统会弹出提示框,单击“确认”创建一个关系模型。新建SDI和DWI两个模型。
2.2 导入原始表
在左侧的关系模型树中,展开新建的关系模型,选中业务对象“城市交通>行程记录>原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。具体操作说明参见用户指南 https://support.huaweicloud.cn/usermanual-dayu/dayu_01_0635.html。逆向数据库成功后,可以在列表中查看导入的表。
2.3 新建标准化的业务表
单击“新建”按钮,进入新建表页面。在新建表的“基本配置”Tab页中,配置如下:
进入“表字段”Tab页,单击“新建”,在标准出行数据表中,依次添加字段,同时并单击字段的“数据标准”列中的按钮,可关联已经发布的数据标准。
进入“映射”Tab页,通过新建映射设计表的数据来源。
完成映射的配置后,保存并发布表模型。
3 维度建模
3.1 维度
维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。维度多数具有层级结构,如:地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。创建维度,即从顶层规范业务中实体(或称主数据)的存在性及唯一性。
在规范设计控制台,单击左侧导航树中的“维度建模”,进入维度建模页面,新建码表维度。在新建维度页面,如下图所示配置参数,然后单击“保存”完成维度的新建。
新建一个层级维度“日期维度”。基本配置和物化配置如下:
发布上述新建的维度,系统会自动创建与维度相对应的维度表,维度表的名称和编码均与维度相同。
3.2 事实表
归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。
在规范设计控制台,单击左侧导航树中的“维度建模”,选择“事实表”页签。在左侧主题树中选中一个对象,然后单击“新建”按钮。在“新建事实表”页面,完成如下配置:
在“字段配置”区域,单击“新建”可选择一个或多个已创建的维度,单击“确定”后,会将维度的主键字段添加到列表中。
在“字段配置”区域,单击“新建”添加度量。
和关系建模一样,同样可以关联数据标准,配置数据质量,建立映射关系。方法和关系建模中相同。
3.3 技术指标
3.3.1 原子指标
新建1个原子指标“总车费”,用于统计总车费。在新建原子指标页面配置如下,配置完成后单击“发布”。
3.3.2 衍生指标
基于付款方式维度统计总车费。在技术指标页面,进入“衍生指标”Tab页,然后单击“新建”按钮,在新建衍生指标页面,配置如下。配置完成后,单击“试运行”,并在弹出窗口中单击“试运行”,如果运行通过单击“保存”。
3.4 汇总表
在规范设计控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。单击“汇总表”页签,进入汇总表页面。新建付款方式统计汇总表。
保存并发布。
4 数据开发
完成上述布置,在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDI、DWI、DWR、DM整个流程。可在数据开发服务中查看、执行或监控相应作业执行情况。
数据开发的相关作业可参考用户手册https://support.huaweicloud.cn/usermanual-dayu/dayu_01_0432.html。
- 点赞
- 收藏
- 关注作者
评论(0)