【DTSE Tech Talk 精选问答】NO.70丨openGemini兼容普罗生态，云原生可观测性新势力

Promtheus是大量云原生应用的监控系统，在大规模云原生环境存在异常恢复较长、可扩展性受阻等问题，Cortex作为其分布式方案虽提高了可扩展性和稳定性，但在海量时间线和范围查询时仍面临成本高性能低的问题。OpenGemini兼容Promtheus读写API，充分发挥其存储底座和向量化计算引擎的优势，在多场景下表现优异。本次直播主要介绍OpenGemini的基本架构、性能提升的关键技术和效果。

直播链接：https://bbs.huaweicloud.cn/live/DTT_live/202410301630.html

Q：openGemini有针对高QPS查询做优化么？

A:有，比如对tsbs测试工具的single-group-by-xx这类高QPS查询有做专门的优化

Q：openGemini支持哪些语言的sdk

A:cpp、go、java等，可以在官网上看一下

Q：openGemini查询引擎未来有哪些优化技术？

A:会对普罗查询增加更加丰富的计算下推场景

Q：openGemini有查询优化器吗？支持复杂查询的优化

A:有，支持

Q：openGemini目前兼容哪些生态？

A:influxDB生态和普罗生态

Q：sidecar如果分布在不同地域，容易造成较高延迟，查询速度会较慢。怎么避免？

A:这是thanos存在的问题，openGemini副本模式未来可以提供更加丰富的读写策略来帮助将读写集中到指定地域

Q：openGemini在云原生可观测性领域的未来发展方向和计划是什么？

A:完善生态，深入了解用户使用场景和需求

Q：openGemini有时序分析能力吗？

A:有，可以看下我们github上openGemini-castor仓

Q：openGemini和其他时序数据库，比如apachedruid相比最大的特点和优点在哪部分？

A:具有更高效的读写性能

Q：openGemini也可以用来sql给alertmanager来告警吗

A:可以搭配普罗作为存储和分析底座，通过普罗来采集数据和告警

Q：openGemini在云原生环境下的分布式架构是如何设计的，它如何支持大规模集群部署？

A:主要由ts-sql和ts-store组成，都可以水平扩展来支持大规模集群

Q：数据写入可以不依赖Prom吗？直接使用prom的SDK写入可以吗？

A:在目前支持的http api范围内使用可以

Q：openGemini如何确保在多租户环境下的数据安全性和隔离性？

A:不同用户使用不同DB，为每个用户授予DB的读写权限，可以实现物理隔离。如果租户太多的情况下，每用户一个DB不合适，最好是添加用户字段，查询时必须带有用户ID的条件，以此实现逻辑隔离

Q：openGemini如何处理和优化写入热点问题，以保证数据库的稳定性和性能？

A:通过指定分区键的hash分区方式打散数据，保证数据均匀分布

Q：openGemini在处理海量时序数据时，如何保证数据的高压缩率和高性能？

A:不同数据类型采用不同的压缩算法，列式压缩，保证整体的高压缩率

Q：openGemini在存储分析一体化方面有哪些创新，这些创新如何帮助企业提升数据处理效率？

A:提供列式存储、数据压缩、LSM等能力，解决海量数据持续写入性能问题；提供数据预聚合、降采样、流式聚合等解决数据分析效率问题

Q：cortex支持逻辑多租，那么多租户在openGemini用什么来表示呢？

A:普罗写入提供单独的API实现不同用户的数据存储在多个表中，也可以不同用户使用不同DB实现物理隔离

Q：openGemini在时序数据库测试基准TSBS测试中，相对于业界influxdb、tdengine、iotdb读写性能表现如何？

A:相比InfluxDB OSS v2.x版本，openGemini在如上12个典型场景的查询性能大幅领先，最大提升60倍

Q：openGemini当前支持哪些查询语言？从可观测发展的角度，它的定位是什么？

A:支持InfluxQL和PromQL，定位是可观测性数据的存储和分析底座

Q：openGemini在云原生可观测性方面有哪些优势？

A:集群化可扩展，高可用性，易部署，更好的写入和查询性能

Q：openGemini相对于prom压缩率更高吗？有哪些关键技术？

A:内置delta、ZigZag、Simple8b、Snappy等多种压缩算法，支持对不同数据类型采用不同压缩算法的列式压缩，可以达到比普罗更高的压缩率

Q：openGemini查询引擎相对于PromQL引擎有哪些优势？

A:增加多种计算下推规则、根据空闲资源并发执行多个计算任务、向量化执行等

Q：openGemini如何支持大规模集群部署？

A:计算和存储组件均可以水平扩展

Q：openGemini如何实现与云原生环境的兼容性？

A:openGemini已支持K8s、KubeEdge容器化部署

Q：如何优化时序数据库的存储和查询，以提高数据的处理效率？

A:可以通过explain analyze打印查询时延分布确定优化方向，对于并发执行的一些场景可以用golang pprof工具抓取cpu消耗分布的火焰图

Q：openGemini如何促进不同行业的数字化转型？

A:通过存储和分析海量可观测性数据来促进电力、能源、车联网、物联网等多行业对监控指标、系统日志、调用链等深度使用

Q：openGemini在性能方面相比其他时序数据库有何提升？

A:相比InfluxDB OSS v2.x版本，openGemini在如上12个典型场景的查询性能大幅领先，最大提升60倍

Q：openGemini在数据压缩方面有哪些特点？

A:内置delta、ZigZag、Simple8b、Snappy等多种压缩算法，支持对不同数据类型采用不同压缩算法的列式压缩，可以达到比普罗更高的压缩率

Q：OpenGemini在数据安全方面采取了哪些措施？如何保障数据在传输和存储过程中的保密性、完整性和可用性？

A:openGemini支持数据传输加密和用户密码鉴权，支持用户弱密码校验和审计日志。此外，openGemini集群的各组件之间通信可配置HTTPS双向认证（Mutual TLS），确保每一个链接都是可信的

Q：openGemini高基数引擎有什么作用？

A:改变现有时序引擎的数据排序方式与索引方式，去掉时间线的影响，更适用于高基数场景

Q：openGemini的高性能体现在哪里？

A:写入和查询时延、QPS等性能指标表现更好，数据压缩率高

Q：有要求go必须是多少版本以上的吗？

A:1.22

Q：openGemini与其它时序数据库相比有哪些优势？

A:集群化可扩展，高可用性，易部署，更好的写入和查询性能

Q：openGemini能监控哪些方面数据？

A:指标数据，日志数据

Q：cortex支持逻辑多租，那么多租户在openGemini用什么来表示?

A:普罗写入提供单独的API实现不同用户的数据存储在多个表中，也可以不同用户使用不同DB实现物理隔离

Q：在相对有限的时间线数量下，openGemini如何提供极致的写入与查询性能？

A:在这种情况下，可以使用时序引擎，通过时间线聚簇、时间排序、倒排索引，可以同时提供面向点查、聚合查询的极致性能

Q：openGemini在InfluxDB上做了哪些改进？

A:可扩展性、高可用、高性能存储和查询引擎等

Q：openGemini是否支持数据迁移功能？

A:提供InfluxDB像openGemini的数据迁移工具

Q：OpenGemini在处理高基数数据时，其列式存储+排序+聚簇索引的方式具体能在多大程度上提升读写性能？与其他主流时序数据库相比，优势有多大？

A:单核写入性能相对于ClickHouse有3倍提升，查询性能短期时间范围查询、条件+时间范围查询与ClickHouse时延差距10倍

Q：普罗支持哪些数据的导入，能否实现云端数据的直接同步对接吗

A:主要是指标数据，可以直接对接采集并存储云端监控数据

Q：openGemini能提供哪些组件运维能力？

A:提供ts-monitor可上报ts-meta、ts-sql、ts-store的监控指标

Q：openGemini使用哪种语法解析器？如何优化语法树？

A:使用golang yacc生成的自定义的语法规则，兼容influxql，主要通过基于规则变化的优化方式

Q：openGemini目前支持哪些操作系统？

A:支持主流Linux 系统（含openEuler）、Windows 和MacOS

Q：openGemini高基数引擎功能有什么作用？

A:针对高基数场景的列存引擎，引入新的数据布局与索引解决索引膨胀问题

Q：openGemini在异常检测和预测方面有哪些优势？

A:可检测13种常见的异常场景，具有检测速度快、准确性高、流批一体的优点，让数据就近处理，提高数据分析效率

Q：OpenGemini社区的发展状况如何？社区的活跃度、开发者的参与度以及贡献者的数量等方面的情况怎样？

A:吸引了包括天翼云、沃趣、国能数智、移远通信、华为云IoT等在内的很多企业开发者的关注并加入社区贡献

Q：时序引擎是否可以和列式引擎混用？

A:按照表粒度使用不同的存储引擎，可以在表级以上混用，不能在表级及其以下混用

Q：openGemini日志检索功能有什么作用？相比其它数据库有什么优势？

A:通过文本关键字在openGemini中检索包含关键字的所有日志数据，支持模糊匹配、正则匹配和精确匹配三种，具有更高的索引效率

Q：openGemini多级降采样功能有什么作用？

A:对历史数据明细的特征提取，并原地替换历史数据明细

Q：openGemini流式聚合功能能解决哪些问题？

A:解决传统降采样方法从磁盘读取大量历史数据进行计算的IO放大问题

Q：openGemini时序数据库如何与其他系统集成和协同工作？

A:通过统一的接口层协议

Q：openGemini支持哪些开发语言和框架？openGemini是否支持多租户架构？

A:支持c++、golang、java等多种SDK，支持多租户架构

Q：在高基数场景下，使用openGemini列存引擎需要注意哪些问题？

A:需要修改flight相关的写入配置，创建表需要使用高基数表的创建方式并带上存储引擎类型等

Q：openGemini异常检测和预测功能有什么作用？

A:帮助检查数据突升突降，持续上升/下降等多种异常场景，帮助根据历史时序数据获取未来预测值

Q：针对OpenGemini部署和运维方面应注意哪些方面

A:按照官方给的配置文件确定ip地址进行部署

Q：如何选择合适的机器配置来部署openGemini列存引擎？

A:根据因为u实际的工作负载和性能要求选择

Q：如何监控和调优openGemini列存引擎的性能？

A:可以通过ts-monitor上报的openGemini监控数据分析系统资源使用情况、explain analyze分析单条查询时延分布、golang pprof工具统计性能数据

Q：有哪些应用场景？

A:能源、电力、车联网、物联网、云原生监控运维等

想要了解 openGemini时序数据库 更多相关知识，欢迎观看DTSE Tech Talk 系列技术直播