背景介绍

1 需求分析

1.1   项目影响力

Parquet 起源于 2013 年，它是由 Twitter 和 Cloudera 合作开发的一种开源文件格式，其诞生的主要目的是为了解决大数据环境下传统行式存储格式的局限性，与一些传统的列式存储系统（如 C-Store、MonetDB 等）相比，Parquet 最大的贡献是支持嵌套格式数据的列式存储。嵌套格式可以很自然地描述互联网和科学计算等领域的数据，Parquet“原生”的支持嵌套格式数据减少了规则化、重新组合这些大规模数据的代价。

由于 Parquet 具有列式存储、高效压缩、支持复杂数据结构等优点，它在大数据分析、数据仓库、数据湖等领域得到了广泛的应用。如今，它已经成为 Hadoop 大数据生态圈列式存储的事实标准。

项目数据：Fork 1.4k，Star 2.6k，Contributors 228

主要开发语言:

• Java       99.3%

官网: https://parquet.apache.org/

源代码仓库：https://github.com/apache/parquet-java

star历史（https://star-history.com/）：

1.2   任务目的和范围

在大数据分析领域应用广泛，许多企业和组织在其大数据平台中使用 Parquet 格式来存储和处理海量数据。例如，互联网公司用于存储用户行为数据、日志数据等，金融机构用于存储交易数据、风险数据等。

本任务的主要目的是构建Parquet与GuassDB数据库的连接桥梁，使Parquet融入华为云生态体系，让原本使用Parquet的用户可以选择使用华为云服务。同时，该任务也可以为当前使用华为云服务的用户提供数据输出到Parquet的选项，丰富个性化定制的多样性。

• 适配任务清单

2 工作量评估和任务分解

2.1   工作量评估

2.2   基于华为云ECS完成Parquet安装和部署

华为云部署参考:

Parquet系统架构图：

参考：

• 代码仓库：https://github.com/apache/parquet-java

2.3      完成GuassDB数据库适配功能开发

• 申请开通华为云GuassDB服务，并获取相应的配置信息。
• 安装Parquet，若已经安装Parquet，则直接生成Parquet镜像
• 在GitCode完成项目Fork，并完成GuassDB数据库服务适配需要的脚本和代码开发。
• 使用Parquet镜像对接GuassDB数据库服务，开启联调验证并修改适配脚本及代码

2.4   DEMO设计和验证

Parquet和GaussDB数据互通测试

操作一：使用第三方抽数工具，从Parquet中采集数据文件写入GaussDB数据库

预期结果：采集并写入成功，GaussDB中生成采集到的数据文件

操作二：使用第三方抽数工具，从GaussDB数据库中采集数据文件写入Parquet

预期结果：采集并写入成功，Parquet中生成采集到的数据文件

结论： Parquet和GaussDB达成数据互通

2.5   在华为云开发者论坛输出博客

在华为云开发者论坛发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）

2.6   代码推送上游社区

将代码合并到Parquet官网主干代码，更新Parquet官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料

开源for Huawei介绍、环境搭建、示例项目、开发和部署指南：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview