DataArts Studio数据架构——基于模型驱动的智能自动化流水线建设案例

举报
玄米茶 发表于 2022/07/15 11:52:37 2022/07/15
【摘要】 基于模型驱动的智能自动化流水线建设案例

背景介绍

规范设计以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。同时与周边服务数据治理、数据资产等联接,协助用户在模型创建发布后,自动化创建相关联同步作业流水线。

当模型创建保存成功后,点击发布。发布成功后会自动进行物理表、数据资产、质量作业等的自动化创建或更新。用户可以在配置中心选择需要自动化流水线中包含哪些功能。

1.png

2.png


1      码表

1.1      新建码表

以新建“付款方式”码表为例。在码表管理页面,在码表目录树中选择一个目录,然后在右侧单击“新建”按钮。



1.png




2.png




在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行单击“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加数值。保存并发布创建的码表。



2      关系建模

在关系建模中,分别新建SDI层和DWI层两个关系模型,并通过逆向数据库导入原始数据表到SDI层的关系模型中,在DWI层模型中新建一个“标准出行数据”的标准化的业务表。

2.1      创建模型

在规范设计控制台,单击左侧导航树中的“关系建模”,如果当前未创建过关系模型,系统会弹出提示框,单击“确认”创建一个关系模型。新建SDIDWI两个模型。


1.png



2.2      导入原始表

在左侧的关系模型树中,展开新建的关系模型,选中业务对象“城市交通>行程记录>原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。具体操作说明参见用户指南    https://support.huaweicloud.cn/usermanual-dayu/dayu_01_0635.html。逆向数据库成功后,可以在列表中查看导入的表。


2.png



2.3      新建标准化的业务表

单击“新建”按钮,进入新建表页面。在新建表的“基本配置”Tab页中,配置如下:


1.png



进入“表字段”Tab页,单击“新建”,在标准出行数据表中,依次添加字段,同时并单击字段的“数据标准”列中的按钮,可关联已经发布的数据标准。


1.png



进入“映射”Tab页,通过新建映射设计表的数据来源。


1.png



完成映射的配置后,保存并发布表模型。


3      维度建模

3.1      维度

维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。维度多数具有层级结构,如:地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。创建维度,即从顶层规范业务中实体(或称主数据)的存在性及唯一性。

 在规范设计控制台,单击左侧导航树中的“维度建模”,进入维度建模页面,新建码表维度。在新建维度页面,如下图所示配置参数,然后单击“保存”完成维度的新建。


1.png



新建一个层级维度“日期维度”。基本配置和物化配置如下:


2.png


1.png

2.png

发布上述新建的维度,系统会自动创建与维度相对应的维度表,维度表的名称和编码均与维度相同。


3.2      事实表

归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。

在规范设计控制台,单击左侧导航树中的“维度建模”,选择“事实表”页签。在左侧主题树中选中一个对象,然后单击“新建”按钮。在“新建事实表”页面,完成如下配置:

1.png


在“字段配置”区域,单击“新建”可选择一个或多个已创建的维度,单击“确定”后,会将维度的主键字段添加到列表中。

2.png


在“字段配置”区域,单击“新建”添加度量。

3.png


和关系建模一样,同样可以关联数据标准,配置数据质量,建立映射关系。方法和关系建模中相同。


3.3      技术指标

3.3.1        原子指标

新建1个原子指标“总车费”,用于统计总车费。在新建原子指标页面配置如下,配置完成后单击“发布”。

1.png


3.3.2        衍生指标

基于付款方式维度统计总车费。在技术指标页面,进入“衍生指标”Tab页,然后单击“新建”按钮,在新建衍生指标页面,配置如下。配置完成后,单击“试运行”,并在弹出窗口中单击“试运行”,如果运行通过单击“保存”。

1.png


3.4      汇总表

在规范设计控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。单击“汇总表”页签,进入汇总表页面。新建付款方式统计汇总表。



1.png


2.png

3.png

保存并发布。


4      数据开发

完成上述布置,在规范设计中发布汇总表后,会自动生成全流程的数据开发作业,串联起SDIDWIDWRDM整个流程。可在数据开发服务中查看、执行或监控相应作业执行情况。

1.png

数据开发的相关作业可参考用户手册https://support.huaweicloud.cn/usermanual-dayu/dayu_01_0432.html





【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。