华为云数据仓库第5天——云上数据流动

通过CDM可以将DWS的表数据归档到OBS上，操作手册上已经有详细介绍，本文将重点介绍通过CDM将OBS的数据文件导入到DWS集群，查看CDM作业的状态，并且在DWS集群中查看数据是否导入成功

一． 创建DWS集群

DWS创建流程已经在第一天的文档介绍，此处不再赘述。

二． 创建CDM集群

1．登陆华为云控制台，进入“云数据迁移CDM”管理页面，点击进入控制台

2. 点击右上角的“购买云数据迁移服务”，进行创建CDM集群的配置

三． 创建OBS桶并上传数据

1. 登陆华为云“对象存储服务OBS”的管理控制台。

2. 点击“管理控制台”，点击右上角“创建桶”。然后进行配置。本文中桶名为obs-helldota

四． 配置CDM作业

1. 回到CDM管理页面， 点击CDM集群上的“作业管理”， 开始配置连接管理和作业。

2. 首先配置源端OBS连接。点击“新建连接”。选择“对象存储”中的“对象存储服务（OBS）,

点击下一步

名称： 给源端连接起个名字

连接器： OBS，不可选

OBS终端节点：地址，不可选

端口：默认443

访问标识/密钥：填写华为云账号的AK/SK

填写完成后，点击“测试”， 如果测试成功，点击保存。

3. 配置目的端DWS连接。 点击“新建连接”， 选择数据仓库中的“数据仓库服务

数据库名称这里我们填写上一节创建的dota，

填写完成后，点击“测试”， 如果测试成功，点击保存。

4.在本文中，我们将obs中的ablibity_ids.csv文件导出到DWS中，表名为ability，在迁移之前，需要在DWS中创建该表：

set current_schema = dota_data;

drop table if exists ability_ids;

CREATE TABLE ability_ids

(

ability_id VARCHAR(20),

ability_name VARCHAR(50)

)

with (orientation = column, COMPRESSION=MIDDLE) distribute by hash(ability_id );

5、配置CDM作业，开始迁移。 在“作业管理”页面，点击“新建作业”。

源端作业配置，我们选择刚刚创建的OBS连接，选择我们需要桶名，选择准备导入的源文件ability_ids.csv,

然后目的端连接我们选择刚才创建DWS连接，选择我们想要导出的模式dota_data,选择表名ability_ids，

配置好后点击“下一步”， 最后点击“保存并运行”

5. 查看作业运行，并检查作业是否导出。 回到“作业管理”页面，可以看到历史

运行的作业情况。 如下图：

作业如果成功，会显示“Succeeded”。 如果失败，可以更多里面“日志”， 来查看失败

的原因。然后修改配置后，可以点击“运行”， 再次运行作业，直到作业成功。

在pgAdmin4中查看导入数据

可以看到已经成功导入数据。