Datax适配Gauss开源验证任务适配心得
【摘要】 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
背景介绍
开源for Huawei（参考：https://developer.huaweicloud.cn/programs/opensource/contributing/） 通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。
1 适配思路
- 在ECS环境里安装好python环境，部署好Datax跟Datax-web程序；
2.运行python datax.py data_gauss.json命令进行数据同步
3.登录datax-web的UI界面，在任务构建里面创建一个任务进行数据同步
2具体实现
环境准备
1.JDK1.8需要安装java环境，安装JDK1.8以上的版本
2.Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-python3下)
3.Mysql(5.5+)
4.Maven(3.6.1)
从github上下载源码，使用maven编译部署好
进入datax-web的UI界面
在任务管理里面，可以创建数据同步任务
在适配任务的过程中遇到了一些坑
在运行python datax.py的时候可能会报错
需要删除项目plugin/reader和/plugin/writer/目录下面._*开头的文件
rm -rf ../plugin/reader/._*
rm -rf ../plugin/writer/._*
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）