关于elasticsearch:ElasticSearch聚合应该怎么学

4次阅读

共计 5361 个字符，预计需要花费 14 分钟才能阅读完成。

大家好，我是咔咔 不期速成，日拱一卒

ElasticSearch 致力于搜寻的同时，也提供了聚合实时剖析数据的性能，聚合能够实现把简单的数据进行一系列计算后得出咱们想要的数据。

尽管聚合的性能与搜寻齐全不同，但应用的数据结构是完全相同的，因而聚合的执行速度很快，也就是说在一次申请中对雷同数据能够同时进行搜寻 + 过滤、剖析。

在 ElasticSearch 中聚合共分为四大类：

Bucket Aggregation：分桶类型，一些列满足特定条件的文档汇合
Metric Aggregation：指标剖析类型，对数据进行数学运算，例如求最大、小值
Pipeline Aggregation：管道剖析类型，曾经聚合的后果进行二次聚合
Matix Aggregation：矩阵剖析类型，反对对多个字段操作并提供一个后果矩阵
先从简开始，看一下 Bucket、Metric 这两种类型，Bucket 实现的后果就是 MySQL 中 group 关键字的应用，Metric 则是 MySQL 中 max、min 函数的应用。

一、Buckert Aggregation
介绍

通过上图可得悉将数据分为了三个桶，第一个桶统计的是身高小于 300，第二个桶统计的是身高大于 600，第三个桶统计的是身高在 300 到 600 之间的，在这个案例中就是依据不同的身高分到不同的桶中。

应用聚合剖析机制还能够依照年龄、地理位置、性别、薪资范畴、订单增长状况、工作岗位散布等。只有有肯定共同点的数据都可应用聚合进行归档解决。

常见的 Bucket 分桶策略

terms：依照 term 来分桶，如果是 text 类型则会依照分词后的后果进行分桶
range：指定数值的范畴来设定分桶规定
data range：指定日期的范畴来设定分桶规定
histogram：固定的距离来来设定分桶规定
data histogram：针对日期的直方图或柱状图
Terms
依据目的地进行分桶

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"destcountry_term":{
  "terms": {"field": "DestCountry"}
}

},
“profile”:”true”
}
从返回后果中看到依据目的地将航班信息进行了归类解决，同时也会发现在 ElasticSearch 中如果不手动定义 size 值都会默认只返回 10 条后果

“aggregations” : {

"destcountry_term" : {
  "doc_count_error_upper_bound" : 0,
  "sum_other_doc_count" : 3187,
  "buckets" : [
    {
      "key" : "IT",
      "doc_count" : 2371
    },
    {
      "key" : "US",
      "doc_count" : 1987
    },
    {
      "key" : "CN",
      "doc_count" : 1096
    },
    {
      "key" : "CA",
      "doc_count" : 944
    },
    {
      "key" : "JP",
      "doc_count" : 774
    },
    {
      "key" : "RU",
      "doc_count" : 739
    },
    {
      "key" : "CH",
      "doc_count" : 691
    },
    {
      "key" : "GB",
      "doc_count" : 449
    },
    {
      "key" : "AU",
      "doc_count" : 416
    },
    {
      "key" : "PL",
      "doc_count" : 405
    }
  ]
}

}
Range
想要查问平均价格在 300 以下、300~600 之间、大于 600 的案例

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"avgticketprice_range":{
  "range": {
    "field": "AvgTicketPrice",
    "ranges": [{"to":300},
      {"from":300,"to":600},
      {"from":600}
    ]
  }
}

}
}
返回后果如下，能够三条后果都依据不同的区间设置了 key 值

“aggregations” : {

"avgticketprice_range" : {
  "buckets" : [
    {
      "key" : "*-300.0",
      "to" : 300.0,
      "doc_count" : 1816
    },
    {
      "key" : "300.0-600.0",
      "from" : 300.0,
      "to" : 600.0,
      "doc_count" : 4115
    },
    {
      "key" : "600.0-*",
      "from" : 600.0,
      "doc_count" : 7128
    }
  ]
}

}
能够通过设置 keyed:true，使每个区间都返回一个特定的名字

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"avgticketprice_range":{
  "range": {
    "field": "AvgTicketPrice",
    "keyed":"true",
    "ranges": [{"to":300},
      {"from":300,"to":600},
      {"from":600}
    ]
  }
}

}
}
能够好好的跟上一个案例比照一下区别

“aggregations” : {

"avgticketprice_range" : {
  "buckets" : {
    "*-300.0" : {
      "to" : 300.0,
      "doc_count" : 1816
    },
    "300.0-600.0" : {
      "from" : 300.0,
      "to" : 600.0,
      "doc_count" : 4115
    },
    "600.0-*" : {
      "from" : 600.0,
      "doc_count" : 7128
    }
  }
}

}
当然也能够指定区间的名字

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"avgticketprice_range":{
  "range": {
    "field": "AvgTicketPrice",
    "keyed":"true",
    "ranges": [{"key":"小于 300","to":300},
      {"key":"300 到 600 之间","from":300,"to":600},
      {"key":"大于 600","from":600}
    ]
  }
}

}
}
返回后果

“aggregations” : {

"avgticketprice_range" : {
  "buckets" : {
    "小于 300" : {
      "to" : 300.0,
      "doc_count" : 1816
    },
    "300 到 600 之间" : {
      "from" : 300.0,
      "to" : 600.0,
      "doc_count" : 4115
    },
    "大于 600" : {
      "from" : 600.0,
      "doc_count" : 7128
    }
  }
}

}
Data Range
通过指定日期的范畴来设定分桶规定，如对 timestamp 字段依照设定的时间段来分桶。

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"data_range_timestamp":{
  "date_range":{
    "field":"timestamp",
    "format":"yyyy-MM",
    "ranges":[{"from":"2022-01","to":"2022-02"},
      {"from":"2022-02","to":"2022-03"}
    ]
  }
}

}
}
返回后果，思考一下如果想要设置固定的 key 值应该怎么设置呢？还有要留神的是日期格局 yyyy-MM-dd HH:mm:ss

“aggregations” : {

"data_range_timestamp" : {
  "buckets" : [
    {
      "key" : "2022-01-2022-02",
      "from" : 1.6409952E12,
      "from_as_string" : "2022-01",
      "to" : 1.6436736E12,
      "to_as_string" : "2022-02",
      "doc_count" : 9580
    },
    {
      "key" : "2022-02-2022-03",
      "from" : 1.6436736E12,
      "from_as_string" : "2022-02",
      "to" : 1.6460928E12,
      "to_as_string" : "2022-03",
      "doc_count" : 1837
    }
  ]
}

}
Historgram
直方图，以固定距离的策略来宰割数据，如对 AvgTicketPrice 字段依照 100 的距离进行分桶

interval：每次距离 50
min_doc_count：存在的文档数起码是 0 条
extended_bounds：此值只有当 min_doc_count 为 0 时才具备意义
在实现时你会发现 extended_bounds 不过滤桶。extended_bounds.min 高于从文档中提取的值，那么文档依然会规定第一个存储段将是什么（对于 extended_bounds.max 和最初一个存储段也是如此）。为了过滤桶，您应该将直方图聚合嵌套在范畴过滤器聚合中，并应用适当的从 / 到设置

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"price_histogram":{
  "histogram": {
    "field": "AvgTicketPrice",
    "interval": 50,
    "min_doc_count":"0",
    "extended_bounds":{
      "min":0,
      "max":600
    }
  }
}

}
}
返回后果

“aggregations” : {

"price_histogram" : {
  "buckets" : [
    {
      "key" : 0.0,
      "doc_count" : 0
    },
    {
      "key" : 50.0,
      "doc_count" : 0
    },
    {
      "key" : 100.0,
      "doc_count" : 380
    },
    {
      "key" : 150.0,
      "doc_count" : 369
    },
    {
      "key" : 200.0,
      "doc_count" : 398
    }
  ]
}

}
Data histogram
针对日期的直方图或者柱状图，是时序数据分析中罕用的聚合剖析类型，如对 timestamp 字段依照月的距离进行分桶

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"timestamp_data_histogram":{
  "date_histogram": {
    "field": "timestamp",
    "interval": "month",
    "min_doc_count": 0,
    "format": "yyyy-MM-dd",
    "extended_bounds": {
      "min": "2021-10-10",
      "max": "2022-01-19"
    }
  }
}

}
}
返回后果

“aggregations” : {

"timestamp_data_histogram" : {
  "buckets" : [
    {
      "key_as_string" : "2021-10-01",
      "key" : 1633046400000,
      "doc_count" : 0
    },
    {
      "key_as_string" : "2021-11-01",
      "key" : 1635724800000,
      "doc_count" : 0
    },
    {
      "key_as_string" : "2021-12-01",
      "key" : 1638316800000,
      "doc_count" : 1642
    },
    {
      "key_as_string" : "2022-01-01",
      "key" : 1640995200000,
      "doc_count" : 9580
    },
    {
      "key_as_string" : "2022-02-01",
      "key" : 1643673600000,
      "doc_count" : 1837
    }
  ]
}

}
二、嵌套查问
上文中列举了五种分桶的实现，在理论开发中只是繁多的进行聚合查问是非常少的，大多状况下都是会进行嵌套操作。

先依据机票进行分桶后，再对分桶后的数据取总数、最小值、最大值、平均值、总和

post /kibana_sample_data_flights/_search
{
“size”:0,
“aggs”:{

"price_range":{
  "range": {
    "field": "AvgTicketPrice",
    "ranges": [{"to":300},
      {"from":300,"to":600},
      {"from":600}
    ]
  },
  "aggs":{
    "price_status":{
      "stats": {"field": "AvgTicketPrice"}
    }
  }
}

}
}
返回后果（返回后果截取显示了）

“aggregations” : {

"price_range" : {
  "buckets" : [
    {
      "key" : "*-300.0",
      "to" : 300.0,
      "doc_count" : 1816,
      "price_status" : {
        "count" : 1816,
        "min" : 100.0205307006836,
        "max" : 299.9529113769531,
        "avg" : 212.5348257619379,
        "sum" : 385963.2435836792
      }
    }
  ]
}

}
还有更多的操作期待咱们去开掘，先把根底的搞定，不期速成，日拱一卒

保持学习、保持写作、保持分享是咔咔从业以来所秉持的信念。愿文章在偌大的互联网上能给你带来一点帮忙，我是咔咔，下期见。

正文完
elasticsearch
发表至： elasticsearch
2022-04-24
 0
关于elasticsearch:用于-Elasticsearch-查询的查询-DSL-Builder
关于elasticsearch:使用elasticsearch作为唯一存储源问题整理
关于elasticsearch:eLasticSearch集群docker环境下利用dockerpose搭建es集群
关于elasticsearch:ElasticSearch-简介

站内搜索

-「」