背景介绍

开源for Huawei（参考：https://developer.huaweicloud.cn/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

1 需求分析

1.1 项目影响力

Apache DataHub 是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。目前市面上的数据生态是多样的，而 DataHub提供了可扩展的元数据管理平台，可以满足数据发现，数据可观察与治理，这极大的解决了数据复杂性的问题。Datahub提供了丰富的数据源支持与血缘展示，在获取数据源的时候，只需要编写简单的yml文件就可以完成元数据的获取，在数据源的支持方面，Datahub支持druid，hive，kafka，mysql，oracle，postgres，redash，metabase，superset等数据源，并支持通过airflow的数据血缘获取。可以说实现了从数据源到BI工具的全链路的数据血缘打通。

项目数据：Fork 2.8K，Star 9.6k，Contributors 538+，最近一次提交：2024-9-05

主要开发语言:

• Java 46.8% 
• Python 34.4% 
• TypeScript 16.1%

官网: https://datahubproject.io/

源代码仓库：https://github.com/datahub-project/datahub  

star历史（https://star-history.com/）：

1.2 任务目的和范围

本任务的主要目的是让DataHub支持华为云 GuassDB数据库，拓展GuassDB数据库的影响力，让DataHub的用户使用华为云服务时能够顺利对接GuassDB数据库。DataHub 的架构有三个主要部分。前端为 Datahub frontend作为前端的页面展示，丰富的前端展示让Datahub 拥有了支撑大多数功能的能力，其前端基于React框架研发；后端 Datahub serving来提供后端的存储服务，Datahub 的后端开发语言为Python，存储基于ES或者Neo4J；而Datahub ingestion则用于抽取元数据信息，属于本次对接适配华为云GuassDB数据库的任务范围。Datahub 提供了基于API元数据主动拉取方式，和基于Kafka的实时元数据获取方式，这对于元数据的获取非常的灵活。

• 适配任务清单

2 工作量评估和任务分解

2.1 工作量评估

2.2 基于华为云ECS完成DataHub安装和部署

华为云部署参考:

DataHub系统架构图：

参考：

代码仓库：https://github.com/datahub-project/datahub

2.3 完成GuassDB数据库适配功能开发

参考现有DataHub的架构，完成2个功能点的分析和适配工作。

• DataHub可以采集GaussDB数据库内的元数据。
• DataHub frontend 可以管理创建的采集(元数据)任务流。

2.4 完成DEMO设计和验证

• DataHub创建一条任务流，可以采集指定GaussDB库的元数据。
• 在DataHub frontend 可以管理上述创建的任务流。

2.5 在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.cn/blogs）发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）
• 昇腾（可选）
• 鸿蒙（可选）
• 对象存储 OBS（可选）

2.6 代码推送上游社区

将代码合并到DataHub官网主干代码，更新DataHub官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料

• 开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview
• DataHub 开源软件 for Huawei 临时代码仓库参考：https://github.com/datahub-project/datahub