【云知易】DWS数据仓库服务 入门 01 快速使用DWS
前言
对于新上手的用户,可能还不太清楚如何使用数据仓库服务(Data Warehouse Service,简称DWS),今天就为大家科普下如何快速开始使用数据仓库服务的具体过程,基本流程如下:
第1步:创建集群
第2步:连接集群
第3步:导入样例数据到集群
第4步:测试并分析数据
第5步:清理资源
第1步:创建集群
数据仓库服务使用虚拟私有云为集群提供网络拓扑,实现多个不同集群互相隔离并控制访问。
步骤 1 登录公有云管理控制台。单击“服务列表”,选择“网络 > 虚拟私有云”,打开虚拟私有云管理控制台。单击“申请虚拟私有云”。
如下图所示,创建一个名称为“vpc-dws”的虚拟私有云,详细信息请参见“虚拟私有云用户指南> 虚拟私有云和子网 > 创建虚拟私有云基本信息及默认子网”。
创建虚拟私有云时,需要为您的云服务网站域名(例如,myclouds.com)配置相应的“DNS 服务器地址”,以便在接下来的步骤“连接集群”中通过域名下载DWS客户端。请联系技术支持人员获取云服务网站域名的DNS服务器地址。
您也可以在创建虚拟私有云完成后,通过修改子网配置DNS,具体请参见“虚拟私有云用户指南> 虚拟私有云和子网 >修改子网网络信息 ”。
步骤2 创建安全组。
步骤 1 在公有云管理控制台,单击“服务列表”,选择“数据分析 > 数据仓库服务”,打开DWS控制台页面。
默认显示“总览”。
步骤 2 单击“购买数据仓库集群”,打开配置页面。填写配置参数如下所示:
步骤 3 单击“立即购买”,进入“规格确认”页面。
步骤 4 勾选“我已经阅读并接受《公测免费使用服务条款协议》”。
步骤 5 单击“提交申请”。
集群创建需要时间,所创集群的初始状态为“创建中”,请等待一段时间。创建成功后状态更新为“可用”,用户可以开始使用集群。
第2步:连接集群
用户在创建好数据仓库集群,开始使用数据库服务前,需要在弹性云服务器上使用数据库客户端连接到数据库。
步骤 1 登录公有云管理控制台。
步骤 1 在管理控制台,单击“服务列表”,选择“计算 > 弹性云服务器”,打开弹性云服务器控制台页面。单击“购买弹性云服务器”。
购买弹性云服务器的具体操作,请参见“弹性云服务器用户指南> 入门 > 购买弹性云服务器”。
创建的弹性云服务器需满足以下要求:
1、 所创建的弹性云服务器与DWS集群需处于相同的“当前区域”、“可用分区”。
2、 弹性云服务器“镜像”需选择DWS客户端所支持的以下平台之一:
- “RedHat x64”客户端工具支持在以下系统中使用:
RHEL6.4、6.5、6.6、6.7、7.1、7.2。
CentOS6.4、6.5、6.6、6.7。
EulerOS 2.0SP2
- “SUSE x64”客户端工具支持在以下系统中使用:
SLES11 SP1、11 SP2、11 SP3、11 SP4。
DWS的JDBC驱动和ODBC驱动支持更多的平台,请参见数据仓库服务的“用户指南 > 管理 > 管理客户端 > 下载JDBC和ODBC驱动”。
3、 弹性云服务器与DWS集群需处于相同的 “虚拟私有云”、“安全组”以及子网(即配置项“网卡”)。并且,如果需要从虚拟私有云外部去登录弹性云服务器,“弹性IP”需选择“现在购买”或“使用已有”。
为确保集群能够正常的接收来自弹性云服务器上的客户端以及其他应用的网络访问,需要添加安全组规则。
步骤 1 在DWS管理控制台,进入“集群管理”页面,集群列表中,在新创建的DWS集群所在的行,单击展开按钮可显示集群信息。
步骤 2 单击安全组名称sg-dws,进入安全组详情界面。
步骤 3 在安全组详情界面,单击“添加规则”,弹出添加规则窗口。
以在弹性云服务器上使用DWS客户端通过内网IP访问数据仓库为例,需要添加一条入方向的规则,将弹性云服务器的内网地址加入安全组访问规则中。
配置示例如下,具体请参见“虚拟私有云用户指南 > 安全性 > 安全组 > 为安全组添加安全组规则”。
步骤 4 (可选)当需要从安全组外访问安全组内的弹性云服务器的弹性IP时,需要为安全组添加相应的入方向规则。
例如,使用SSH方式远程登录Linux系统的弹性云服务器时,需要添加协议为“TCP”、端口为22的入方向规则。
步骤 1 打开DWS管理控制台页面,在左侧导航栏中,单击“集群管理”,在集群列表中,查看已创建集群的内网访问地址。
步骤 1 使用Virtual Network Client(VNC)方式登录弹性云服务器。
1. 单击“服务列表”,选择“计算 > 弹性云弹性云服务器”,打开弹性云服务器控制台页面。
2. 在弹性云服务器列表页面,选中需要登录的弹性云服务器,在“操作”列中,单击“远程登录”。
根据登录界面提示的用户名和密码进行登录。
更多登录方式,具体请参见“弹性云服务器用户指南 > 入门 > 登录弹性云服务器”。
第3步:导入样例数据到集群
DWS支持用户将数据从集群外导入到集群中。用户可以参考以下指导,快速将样例数据从OBS导入集群。导入的样例数据是使用TPC-DS测试基准生成的标准性能测试数据。
步骤 1 已创建DWS集群,具体请参见“第1步:开始创建集群”。
步骤 2 获取用户访问密钥AK(Access Key ID)、SK(Secret Access Key)。
1. 登录DWS管理控制台。
2. 单击右上角用户名,在下拉列表中选择“我的凭证”。
3. 选择“管理访问秘钥”页签。
4. 单击“新增访问密钥”,进入“新增访问密钥”页面。
5. 输入当前用户的登录密码。
6. (可选)在统一身份服务中创建用户时,如果通过邮箱或者手机进行验证,则需输入对应的验证码。
7. 单击“确定”,下载访问密钥。
为防止访问密钥泄漏,请妥善保管。
第4步:测试并分析数据
TPC-DS是数据库决策支持测试基准。通过使用TPC-DS的测试数据以及测试案例,用户可以模拟真实场景下大数据集的统计、报表生成、联机查询、数据挖掘等复杂场景,从而了解数据库应用的功能和性能。
该步骤指导用户对样例数据进行查询,完成测试分析任务。
步骤 1 进入DWS客户端解压目录,然后执行以下命令切换到指定目录并查询样例数据。
cd sample/query_sql/
sh tpcds100x.sh
然后分别输入集群内网访问地址的IP地址、访问端口、数据库名称、数据库访问用户以及访问用户的密码。数据库名称默认为“postgres”。数据库访问用户和密码使用创建集群时配置的管理员用户和密码。
查询完成后,在当前查询目录,如“sample/query_sql/”下面会生成一个存放查询结果的目录,命名如“query_output_20170914_072341”。
第5步:清理资源
当完成快速入门的样例后,如果无需再使用本样例创建的样例数据、集群、弹性云服务器以及虚拟私有云时,您可以删除这些资源,以免资源浪费或占用您的配额。
步骤 1 删除“第2步:连接集群”中创建的用于连接DWS集群的弹性云服务器。
1. 登录公有云管理控制台。
2. 单击“服务列表”,选择“计算 > 弹性云服务器”,打开弹性云服务器控制台页面。
3. 单击左侧导航栏的“弹性云服务器”,在弹性云服务器列表中,勾选名称为“dws-client”的弹性云服务器,单击“删除”。
删除时可以选择同时删除弹性IP和数据盘。如果不选择,则会保留,需要您单独删除。
4. 单击“确定”。
步骤 2 删除“第1步:开始创建集群”中创建的DWS集群。
1. 登录DWS管理控制台。
2. 单击“集群管理”。
3. 在集群列表中,在指定集群所在行的“操作”列,单击“更多 > 删除”。
4. 单击“确定”。
步骤 3 删除“第1步:开始创建集群”中创建的虚拟私有云及安全组。
1. 登录公有云管理控制台。
2. 单击“服务列表”,选择“计算 > 虚拟私有云”,打开虚拟私有云控制台页面。
3. 单击左侧导航栏的“虚拟私有云”,在虚拟私有云列表中,选中需要删除的虚拟私有云“vpc-dws”,在“操作”列中,单击“删除”。
4. 单击“确定”删除虚拟私有云。
5. 单击左侧导航栏的“安全组”,在安全组列表中,选中需要删除的安全组“sg-dws”,在“操作”列中,单击“更多 > 删除”。
6. 单击“确定”删除安全组。
具体步骤,请参见“虚拟私有云用户指南 > 虚拟私有云和子网 > 删除虚拟私有云”。
更多内容,请参见DWS数据仓库服务的帮助中心(http://support.huaweicloud.cn/usermanual-dws/index.html)。
- 点赞
- 收藏
- 关注作者
评论(0)