DolphinScheduler适配gaussdb任务过程

背景介绍

开源for Huawei（参考：https://developer.huaweicloud.cn/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

DolphinScheduler介绍

DolphinScheduler的主要角色如下：
MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。
ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务，提供告警相关服务。
API接口层，主要负责处理前端UI层的请求。
UI，系统的前端页面，提供系统的各种可视化操作界面。

DolphinScheduler部署前的准备工作：

1、配置好jdk
2、安装配置好ZooKeeper
3、安装配置好mysql/postgresql/gaussdb(本文采用gaussdb作为存储工作流信息的数据库)
4、下载了dolphinscheduler安装包

DolphinScheduler部署及适配gaussdb详细步骤

一、首先将官网下载的安装包 上传至鲲鹏服务器中  并且解压

二、解压缩后 将mysql驱动（后续任务将使用mysql的数据 抽取到gaussdb中）和gaussdb驱动 放到standalone-server/libs/standalone-server 目录下面

三、如果不去配置的话 dolphinscheduler 默认会将任务流信息存储在postgresql中 进入到standalone-server/bin目录中 找到start.sh启动脚本   并且修改standalone-server/conf 目录下面的application.yaml文件 在配置文件中新增配置项 确保start.sh脚本启动的时候 能加载到 对应的gauss配置

spring:
  config:
    activate:
      on-profile: gauss

四、配置完成之后 将dolphinscheduler 必要的一些表写入到gaussdb 数据库中 初始化数据库内容

五、配置完成后的启动命令
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server  
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

六、启动之后 就可以访问页面啦http://xxx.xx.xxx.x:12345/dolphinscheduler/ui/  账号和密码：  admin  dolphinscheduler123

七、进入到界面就可以继续操作啦

八、接下来我们创建一个项目 并且将项目的内容保存到gaussdb数据库中 目前数据库中只有一个项目 创建之后 刷新数据库 可以看到 已经成功的将任务信息保存到gaussdb数据库中了

九、接下来写一个shell脚本 脚本内容 从mysql读取数据 并且将数据写入一个csv文件  然后在读取这个csv文件 写入到gaussdb数据库中对应的表 脚本内容如下 将脚本内容上传到 dolphinscheduler 中

十、保存任务并且将任务上线

先查看数据库中 mysql 和对应的gauss中的数据

十一、运行脚本内容 查看日志和任务状态 都为成功 并且数据成功从mysql 抽出 写入到gauss数据库中

以上就是DolphinScheduler 适配gaussdb数据库的过程和使用方法