背景介绍

开源for Huawei（参考：https://developer.huaweicloud.cn/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

1 需求分析

1.1 项目影响力

Apache Impala 是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具（实时SQL查询引擎Impala），Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala是一个MPP（大规模并行处理）SQL查询引擎, 提供类似RDBMS的体验，提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。

Impala由三个关键组件构成：

Impala daemon（守护进程）；

Impala Statestore（存储状态）；

Impala元数据或metastore（元数据即元存储）。

项目数据：Fork 504K, Star 1.1K,Contributors 161+，最近一次提交：2024-9-17

主要开发语言:

• C++ 50.2%
• Java 27.5%
• Python15.8%

官网: https://impala.apache.org/

源代码仓库：https://github.com/apache/impala

star历史（https://star-history.com/）：

1.2 任务目的和范围

本任务的主要目的是让Impala社区支持华为云 GaussDB数据库服务，拓展GaussDB数据库服务的影响力，方便Impala的用户使用华为云服务时能够顺利对接GaussDB数据库服务。Impala将相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）用作Apache Hive，为面向批量或实时查询提供熟悉且统一的平台。 与Apache Hive不同，Impala不基于MapReduce算法。 它实现了一个基于守护进程的分布式架构，它负责在同一台机器上运行查询执行的所有方面，它减少了使用MapReduce的延迟，这使Impala比Apache Hive快。

• 适配任务清单

2 工作量评估和任务分解

2.1 工作量评估

2.2 基于华为云ECS完成Impala安装和部署调试

华为云部署参考:

Apache Impala 系统架构图：

参考：

代码仓库：https://github.com/apache/impala

2.3 完成GaussDB数据库适配功能开发

参考现有Impala的架构，完成1个功能点的分析和适配工作。

• Impala能够从GaussDB数据库获取元数据。

参考：

https://github.com/apache/impala/blob/master/fe/src/main/java/org/apache/impala/extdatasource/jdbc/dao/MySqlDatabaseAccessor.java

2.4 完成DEMO设计和验证

• Impala连接GaussDB数据库获取元数据。
• Impala连接GaussDB数据库 执行更新元数据信息语句后 可以刷新元数据。

2.5 在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.cn/blogs）发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

• 开源for Huawei的背景
• 开源软件的功能介绍
• 开发适配过程及碰到和解决的问题
• DEMO设计、开发、部署过程
• 代码推送开源社区及互动过程

博客打上如下标签：

• 开源（必选）
• 开发者（必选）
• GaussDB数据库（可选）
• 云数据库 GaussDB（可选）
• 鲲鹏（可选）
• 昇腾（可选）
• 鸿蒙（可选）
• 对象存储 OBS（可选）

2.6 代码推送上游社区

将代码合并到Impala官网主干代码，更新Impala官网资料，包括版本说明、开发指南等。

3 验收材料

4 参考资料