白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理
概述
继续跟中华石杉老师学习ES，第51篇
课程地址： https://www.roncoo.com/view/55
官网
fielddata： 戳这里
示例
对于分词的field执行aggregation，报错
先构造下模拟索引及数据
PUT /artisan_index
{
"mappings": {
"artisan_type": {
"properties": {
"artisan_filed": {
"type": "text"
}
}
}
}
}
PUT /artisan_index/artisan_type/1
{
"artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
"artisan_filed": "artisan_2"
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
GET /artisan_index/_mapping/artisan_type
- 1
我们建立的 artisan_filed是text类型，默认是分词的，那么我们对该字段进行 aggs看下
GET /artisan_index/artisan_type/_search
{
"size": 0,
"aggs": {
"group_by_artisan_field": {
"terms": {
"field": "artisan_filed"
}
}
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
报错如下：
{
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [artisan_filed] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
}
- 1
- 2
- 3
- 4
对分词的field，直接执行聚合操作，会报错，大概意思是说，你必须要打开fielddata，然后将正排索引数据加载到内存中，才可以对分词的field执行聚合操作，而且会消耗很大的内存 .
当然了，排序这种操作也是不行的。
给分词的field，设置fielddata=true，可执行
#删除索引
DELETE artisan_index
#创建索引，设置text类型的字段的fielddata为true
PUT /artisan_index
{
"mappings": {
"artisan_type": {
"properties": {
"artisan_filed": {
"type": "text",
"fielddata": true
}
}
}
}
}
#模拟数据
PUT /artisan_index/artisan_type/1
{
"artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
"artisan_filed": "artisan_2"
}
#查看映射
GET /artisan_index/_mapping/artisan_type
---------------
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
# 聚合操作
GET /artisan_index/artisan_type/_search
{
"size": 0,
"aggs": {
"group_by_artisan_field": {
"terms": {
"field": "artisan_filed"
}
}
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
如果要对分词的field执行聚合操作，必须将fielddata设置为true
使用field.keyword，对分词的field进行聚合，可执行
#直接写入数据，让ES自动创建索引
PUT /artisan_index/artisan_type/1
{
"artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
"artisan_filed": "artisan_2"
}
#查看映射
GET /artisan_index/_mapping/artisan_type
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
# artisan_filed.keyword es内置的keyword也可以在没设置fielddata=true的情况下聚合
GET /artisan_index/artisan_type/_search
{
"size": 0,
"aggs": {
"group_by_artisan_field": {
"terms": {
"field": "artisan_filed.keyword"
}
}
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
artisan_filed.keyword es内置的keyword也可以在没设置fielddata=true的情况下。
当然了，如果对不分词的field执行聚合操作，直接就可以执行，不需要设置fieldata=true
分词field+fielddata的工作原理
doc value --> 不分词的所有field，可以执行聚合操作 --> 如果你的某个field不分词，那么在index-time，就会自动生成doc value --> 针对这些不分词的field执行聚合操作的时候，自动就会用doc value来执行。
分词field，是没有doc value的。。。在index-time，如果某个field是分词的，那么是不会给它建立doc value正排索引的，因为分词后，占用的空间过于大，所以默认是不支持分词field进行聚合的
分词field默认没有doc value，所以直接对分词field执行聚合操作，是会报错的
对于分词field，必须打开和使用fielddata，完全存在于纯内存中。。。结构和doc value类似。。。如果是ngram或者是大量term，那么必将占用大量的内存。。。
如果一定要对分词的field执行聚合，那么必须将fielddata=true，然后es就会在执行聚合操作的时候，现场将field对应的数据，建立一份fielddata正排索引，fielddata正排索引的结构跟doc value是类似的，但是只会将fielddata正排索引加载到内存中来，然后基于内存中的fielddata正排索引执行分词field的聚合操作
如果直接对分词field执行聚合，报错，提示让我们开启fielddata=true，告诉我们，会将fielddata uninverted index（正排索引），加载到内存，会耗费内存空间
为什么fielddata必须在内存？分词的字符串，需要按照term进行聚合，需要执行更加复杂的算法和操作，如果基于磁盘和os cache，那么性能会很差
文章来源: artisan.blog.csdn.net，作者：小小工匠，版权归原作者所有，如需转载，请联系作者。
原文链接：artisan.blog.csdn.net/article/details/100148048
- 点赞
- 收藏
- 关注作者
评论（0）