【DTSE Tech Talk 精选问答】NO.38丨快速了解数仓实时入库利器HStore表
【摘要】 面对实时入库和实时查询要求越来越高的趋势,已有的列存储无法支持并发更新入库,行存查询性能无法做到实时返回且空间压缩表现不佳。GaussDB(DWS)基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。
面对实时入库和实时查询要求越来越高的趋势,已有的列存储无法支持并发更新入库,行存查询性能无法做到实时返回且空间压缩表现不佳。GaussDB(DWS)基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。
观看直播:https://bbs.huaweicloud.cn/live/DTT_live/202308021630.html
Q:HStore表是否支持数据筛选和过滤?
A:Hstore提供和当前列存一样全面的功能和语法支持。支持。Q:HStore表的并发插入和更新入库对硬件资源的要求是怎样的?
A:需要预留一部分cpu资源来做后台merge。其它资源消耗与普通列存一样。Q:HSTore的Delta表看起来有点像binlog,那么查询的时候肯定需要解析的动作,这个解析的动作对查询性能影响大么?
A:delta表上数据的解析读取对性能是有影响的,所以依赖后太autovacuum来避免数据停留delta。Q:HStore表的数据冷热分离策略如何影响实时查询性能?
A:推荐按时间分区,实时查询与入库操作的数据不应当在冷分分区,否则会影响性能。Q:HStore表的查询性能与数据压缩比例有关吗?
A:有。压缩率越高,解压与压缩开销越大,查询时频繁的解压数据会受到影响。Q:HStore表的并发插入和更新入库是否支持数据的乐观锁机制?
A:不支持,同一行上会等待然后报错。乐观锁不适合锁冲突比较大的场景。Q:HStore表的查询性能与并发查询数有关吗?
A:Hstore提供和当前列存一样全面的功能和语法支持。跟列存一样,并发会有性能提升。Q:数据在merge到主表前,怎么保证查询的数据是正确的?
A:会解析Delta表的数据,通过内部的事务机制保证可见性。Q:HStore表的查询性能受到哪些因素的影响?
A:与列存一样,会受到查询数据量大小、系统资源、查询计划等的影响,同时还受数据是否MERGE的影响。Q:HStore表的并发有瓶颈吗?并发性能受哪些因素影响?
A:并发入库的性能受后台automerge效率的影响,也收到环境资源的影响。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)