GaussDB(for MySQL)新特性解读:冷热存储分离

举报
GaussDB 数据库 发表于 2024/09/04 11:34:06 2024/09/04
【摘要】 技术背景业务长期运行,但随着时间推移,越来越多的数据被访问频率降低,从而变成为所谓的"冷数据"。若直接将这些冷数据删除,会面临数据丢失的风险以及高昂的恢复成本;若保持冷数据现有的存储方式不变,存储空间占用越来越多,存储成本将持续增加。同时,在无法有效利用查询索引加速的情况下,数据表的记录膨胀会进一步降低查询效率。如若用户自己识别、分离并转存冷数据至低成本存储中,需要考虑诸多因素:a. 如何构...

技术背景

业务长期运行,但随着时间推移,越来越多的数据被访问频率降低,从而变成为所谓的"冷数据"。若直接将这些冷数据删除,会面临数据丢失的风险以及高昂的恢复成本;若保持冷数据现有的存储方式不变,存储空间占用越来越多,存储成本将持续增加。

同时,在无法有效利用查询索引加速的情况下,数据表的记录膨胀会进一步降低查询效率。如若用户自己识别、分离并转存冷数据至低成本存储中,需要考虑诸多因素:

a. 如何构建脚本。从表中dump一行行冷数据到OBS等超低成本存储中,这需要借助其它计算资源完成;

b. 如何提升在线迁移效率,同时降低对现有业务性能的影响;

c. 如何保障数据一致性和可靠性,并在出现问题时快速处理;

d. 当导出的数据无法直接访问时,如何倒回到实例的表中;

这一系列问题,不仅涉及的改造工程量庞大,而且实施成本很高。


特性价值

GaussDB(for MySQL)冷热存储分离新特性,支持冷表/分区可读和混合分区管理。

冷热存储分离特性能够通过一条简单SQL语句实现表/分区的灵活转储,并快速将物理页并行地从CDE转储到OBS中,单位存储成本最高可降低90%。同时,冷数据在线可读写,确保现有的基于Innodb的访问方式,支持事务,满足数据一致性,访问冷表无需对业务进行改造。

此外,冷热存储分离特性还支持定义规则。通过自动创建分区和指定何时为冷分区并将其自动归档到OBS中,同时可指定“冷分区对查询计划不可见”(rds_schs_enable_partition_visible)的模式,来提升对表中热数据的访问性能,实现冷热混合分区的统一高效管理。


实现原理

GaussDB(for MySQL)冷热存储分离特性实现原理如下:

1. 并行地从分布式存储中抽取冷数据对应的页面组装成Object,并快速地将冷数据归档到OBS中,实现数据0丢失。

2. 通过meta管理,使得数据操作涉及的Page可以快速实现定位和寻址。

3. 通过meta管理,转储过程支持断点续传,即用户可以重试数据转储操作,确保已转储的数据无需重复转储,从而在HA(高可用性)故障恢复中显著提高重做效率。

4. 归档的数据支持备份恢复的能力,支持按指定时间点进行恢复,且恢复后这些被归档的数据能够快速投入使用。

5. 通过“多版本快照的 Lock free”这一转储方式,在任何时刻,被归档的表都能够无阻塞地进行数据操作。

6. 无需使用Innodb Buffer Pool等性能关键的资源,不仅对主机资源占用小,CPU和内存占用始终在10%以下,还能提供转储过程中的流控能力,从而最大程度地避免因争抢公共IO资源而影响业务。


业务场景/流程

1. 新实例开启冷热存储分离

登录管理控制台,在云数据库 GaussDB(for MySQL)的“实例管理”页面,单击目标实例名称,进入基本信息页面。在左侧导航栏,点击“冷热分离”,在“冷热分离”右侧点击图片,在弹框中点击“确定”,打开冷热分离开关。

2.使用冷热存储分离

下面采用DAS数据管理服务,通过SQL命令来介绍冷热存储分离特性的使用。

1)创建冷表

CALL dbms_schs.make_io_transfer("start", "库名", "表名", "分区名", "", "obs");

例如:

CALL dbms_schs.make_io_transfer("start", "test", "table1", "", "", "obs");

2)回迁冷表

CALL dbms_schs.make_io_transfer("start", "库名", "表名", "分区名", "obs", "");

例如:

CALL dbms_schs.make_io_transfer("start", "test", "table1", "", "obs", "");

3)查询归档或回迁状态

CALL dbms_schs.show_io_transfer("库名", "表名", "分区名");

例如:

CALL dbms_schs.show_io_transfer("test", "table1", "");

总结

GaussDB(for MySQL)冷热存储分离特性,支持用户直接针对Innodb的page进行归档和回迁操作,且无需调整上层业务即可访问冷数据。另一方面,在支持分区进行冷热存储分离的基础上,还支持混合分区管理,使得用户在不变更业务的情况下,可以灵活选择在查询时是否快速过滤冷分区。


附录

·本文作者

华为云GaussDB(for MySQL)团队

·华为云GaussDB(for MySQL)官方产品文档:

https://support.huaweicloud.cn/gaussdbformysql/index.html

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。