Elasticsearch 7.10.1集群压测报告（4核16G*3，AMD）

本文描述问题及解决方法同样适用于 Elasticsearch。

本文描述问题及解决方法同样适用于 Elasticsearch。

本文延续上一篇 Elasticsearch压测工具esrally部署之踩坑实录（二）

Elasticsearch 7.10.1集群3节点4核16G压测报告（Intel）

Elasticsearch 7.10.1压测对比（4核16G*3，AMD vs Intel）

环境配置

注：这套环境配置为本文验证通过的环境配置及版本，避免踩坑请尽量按照环境配置里提到的配置及版本

Esrally客户端环境

• 版本

Linux环境：Centos 7.9

Python：3.8.7

Pip：pip 20.2.3 from pip (python 3.8)

Java：openjdk version 1.8.0_302 (build 1.8.0_302-b08)

Git：2.7.5

Esrally：2.3.0

• 配置

内存：32G

硬盘：SSD云硬盘 100GB

CPU个数：1

CPU核心数：16

Elasticsearch服务端环境

• 版本

Linux环境：Centos 7.2

Java：openjdk version 11.0.9.1-ga (build 11.0.9.1-ga+1, mixed mode)

Elasticsearch版本：7.10.1（Elasticsearch 白金版）

• 配置

节点数量：3

内存：16G

硬盘：SSD云硬盘 1TB

CPU个数：1

CPU核心数：4

CPU型号：AMD EPYC 7K62 48-Core Processor

背景

在大数据时代的今天，业务量越来越大，每天动辄都会产生上百GB、上TB的数据，所以拥有一个性能强劲的Elasticsearch集群就显得尤为重要。我们需要模拟大量网络日志、用户行为日志的读写动作，衡量各性能的指标，找出集群瓶颈所在，以确认我们需要怎样的硬件配置以及业务优化，才能满足现有的业务量，这就是我们在业务上线前所必要做的。

压测

esrally 相关术语及参数

Rally 是汽车拉力赛的意思，所以关于它里面术语也是跟汽车的拉力赛有关。

• track: 即赛道的意思，这里指压测用到的样本数据和压测策略，使用 esrally list tracks 列出。rally 自带的 track 可在 中查看，每个 track 的文件名中都存在 README.md 对压测的数据类型和参数做了详细的说明。如果没有指定 track， 则默认使用 geonames track 进行测试；
• target-hosts：即远程elasticsearch的ip和端口，以ip:port的形式指定；
• pipeline: 指一个压测流程，可以通过 esrally list pipeline 查看，其中有一个 benchmark-only 的流程，就是将 es 的管理交给用户来操作，rally 只用来做压测，如果你想针对已有的 es 进行压测，则使用该模式；
• track-params：对默认的压测参数进行覆盖；
• user-tag：本次压测的 tag 标记；
• client-options：指定一些客户端连接选项，比如用户名和密码。

压测指令

esrally race \
  --track=geonames \
  --target-hosts=10.0.10.4:9200 \
  --pipeline=benchmark-only \
  --track-params="number_of_shards:3, number_of_replicas:1" \
  --user-tag="version:AMD_4C16G_1T*3" \
  --client-options="basic_auth_user:'elastic', basic_auth_password:'your_password'"

压测报告