关于elasticsearch:Elasticsearch与Clickhouse数据存储对比-京东云技术团队

1 背景

京喜达技术部在社区团购场景下采纳 JDQ+Flink+Elasticsearch 架构来打造实时数据报表。随着业务的倒退 Elasticsearch 开始暴露出一些弊病，不适宜大批量的数据查问，高频次分页导出导致宕机、存储老本较高。

Elasticsearch 的查问语句保护老本较高、在聚合计算场景下呈现数据不准确等问题。Clickhouse 是列式数据库，列式型数据库人造适宜 OLAP 场景，相似 SQL 语法升高开发和学习老本，采纳疾速压缩算法节俭存储老本，采纳向量执行引擎技术大幅缩减计算耗时。所以做此比照，进行 Elasticsearch 切换至 Clickhouse 工作。

2 OLAP

OLAP 意思是 On-Line Analytical Processing 联机剖析解决，Clickhouse 就是典型的 OLAP 联机剖析型数据库管理系统(DBMS)。OLAP 次要针对数据进行简单剖析汇总操作，比方咱们业务零碎每天都对当天所有运输团单做汇总统计，计算出每个省区的妥投率，这个操作就属于 OLAP 类数据处理。与 OLAP 相似的还有一个 OLTP 类数据处理，意思是 On-Line Transaction Processing 联机事务处理，在 OLTP 场景中用户并发操作量会很大，要求零碎实时进行数据操作的响应，须要反对事务，Mysql、Oracle、SQLServer 等都是 OLTP 型数据库。

2.1 OLTP 场景的特色

• 宽表，即每个表蕴含着大量的列
• 对于读取，从数据库中提取相当多的行，但只提取列的一小部分。
• 查问绝对较少(通常每台服务器每秒查问数百次或更少)
• 查问后果显著小于源数据。换句话说，数据通过过滤或聚合，因而后果适宜于单个服务器的 RAM 中
• 绝大多数是读申请
• 数据以相当大的批次 (> 1000 行) 更新，而不是单行更新; 或者基本没有更新。
• 对于简略查问，容许提早大概 50 毫秒
• 列中的数据绝对较小：数字和短字符串(例如，每个 URL 60 个字节)
• 解决单个查问时须要高吞吐量(每台服务器每秒可达数十亿行)
• 事务不是必须的
• 对数据一致性要求低

3 个性

3.1 Elasticsearch

• 搜寻： 实用倒排索引，每个字段都可被索引且可用于搜寻，海量数据下近实时实现秒级的响应，基于 Lucene 的开源搜索引擎，为全文检索、高亮、搜寻举荐等提供了检索能力。百度搜寻、淘宝商品搜寻、日志搜寻等
• 数据分析： Elasticsearch 提供了大量数据分析的 API 和丰盛的聚合能力，反对在海量数据的根底上进行数据分析解决。统计订单量、爬虫爬取不同电商的某个商品数据，通过 Elasticsearch 进行数据分析（各个平台的历史价格、购买力等等）

3.2 Clickhouse

• 列式存储
• 压缩算法：采纳 lz4 和 zstd 算法数据压缩，高压缩比升高数据大小，升高磁盘 IO，升高 CPU 使用率。
• 索引：依照主键对数据进行排序，clickhouse 能在几十毫秒内实现在大量数据对特定数据或范畴数据进行查找。
• 多外围并行处理：ClickHouse 会应用服务器上所有可用的资源，来全力实现一次查问。
• 反对 SQL：一种基于 SQL 的申明式查询语言，在许多状况下与 ANSI SQL 规范雷同。反对 group by，order by，from, join，in 以及非相干子查问等。
• 向量引擎：为了高效的应用 CPU，数据不仅仅按列存储，同时还按向量 (列的一部分) 进行解决，这样能够更加高效地应用 CPU。
• 实时的数据更新：数据总是已增量的形式有序的存储在 MergeTree 中。数据能够继续一直高效的写入到表中，不会进行任何加锁等操作。写入流量在 50M-200M/s
• 适宜在线查问：响应速度快提早极低
• 丰盛的聚合计算函数

4 咱们的业务场景

1. 大宽表，读大量行少量列进行指标聚合计算查问，后果集比拟小。数据表都是通过 Flink 加工进去的宽表，列比拟多。在对数据进行查问或者剖析时，常常抉择其中的多数几列作为维度列、对其余多数几列作为指标列，对全表或者肯定范畴内的数据做聚合计算。这个过程会扫描大量的行数据，然而只用了多数几列。
2. 大量的列表分页查问与导出
3. Flink 中数据大批量追加写入，不做更新操作
4. 有时某个指标计算须要全表扫描做聚合计算
5. 很少进行全文搜寻

论断：数据报表、数据分析场景是典型的 OLAP 场景，在业务场景上列式存储数据库 Clickhouse 比 Elasticsearch 更有劣势，Elasticsearch 在全文搜寻上更占优势，然而咱们这种全文搜寻场景较少。

5 老本

• 学习老本：Clickhouse 是 SQL 语法比 Elasticsearch 的 DSL 更简略，简直所有后端研发都有 Mysql 开发教训，比拟相通学习老本更低。
• 开发、测试、保护老本：Clickhouse 是 SQL 语法，与 Mysql 开发模式类似，更好写单元测试。Elasticsearch 是应用 Java API 拼接查问语句，复杂度较高，不易读不易保护。
• 运维老本：未知，互联网上在日志场景下 Clickhouse 比 Elasticsearch 老本更低。
• 服务器老本：
• Clickhouse 的数据压缩比要高于 Elasticsearch，雷同业务数据占用的磁盘空间 ES 占用磁盘空间是 Clickhouse 的 3 -10 倍，均匀在 6 倍。见图 1
• Clickhouse 比 ES 占用更少的 CPU 和内存

论断：等同数据量状况下，Elasticsearch 应用的存储空间是 Clickhouse 的 3 -10 倍，均匀在 6 倍。综合学习、开发、测试、保护方面，Clickhouse 比 Elasticsearch 更敌对

6 测试

6.1 服务器配置

以下均基于下图配置进行测试

6.2 写入压测

以下基于 wms\_order\_sku 表，通过 Flink 在业务安稳状况下双写 Elasticsearch 和 Clickhouse1000W+ 数据进行测试失去的后果

• 占用 CPU 状况：Elasticsearch CPU 始终占用很高，Clickhouse 占用很少 CPU。见 图 2

• 占用内存状况：Elasticsearch 内存升高频繁 GC，Clickhouse 占用内存较低，比拟安稳。见 图 3

• 写入吞吐量：CH 单机写入速度大概为 50\~200MB/s，如果写入的数据每行为 1kb，写入速度为 5 -20W/s，图 4(写入吞吐量)为互联网上 Elasticsearch 与 Clickhouse 写入数据的比照图，等同数据样本的状况下 CH 写入性能是 Elasticsearch 的 5 倍。因为咱们目前 Flink 工作为双写，思考到会相互影响，后续补充压测后果。

论断：批量写入数据时 Elasticsearch 比 Clickhouse 更吃内存和 CPU，Elasticsearch 耗费的内存是 Clickhouse 的 5.3 倍，耗费的 CPU 是 Clickhouse 的 27.5 倍。吞吐量是 Elasticsearch 的 5 倍

6.3 查问性能(单并发测试)

以下场景是咱们数据报表以及数据分析中呈现的高频场景，所以基于此进行查问性能测试

数据比照状况

• Clickhouse 本身在集群配置差一倍的状况下查问性能差别不是很大，CH2(48C 182GB)比 CH1(80C 320GB)均匀慢 14%。见图 5

• Elasticsearch 在集群配置差一倍的状况下查问性能受影响较大，ES2(46C 320GB)比 ES1(78C 576GB)均匀慢 40%。见图 6

• ES2(46C 320GB)与 CH2(48C 182GB)相比，ES2 与 CH2 CPU 核数相近，ES2 内存是 CH2 1.75 倍的状况下，CH2 的响应速度是 ES2 的响应速度的的 12.7 倍。见图 7

论断：查问数据时 Elasticsearch 比 Clickhouse 慢，在配置相近的状况下 Clickhouse 的响应速度是 Elasticsearch 的 12.7 倍，特地是基于工夫的多字段进行聚合查问是 Clickhouse 比 Elasticsearch 快 32 倍。Clickhouse 的查问响应素速度受集群配置大小的影响较小。

6.4 查问压测(高并发测试，数据来源于互联网)

因为筹备高并发测试比较复杂耗时多，后续会基于咱们的业务数据以及业务场景进行查问压力测试。以下数据来源于互联网在用户画像场景（数据量 262933269）下进行的测试，与咱们的场景十分相似。

论断：Clickhouse 对于高并发反对的不够，官网倡议最大 QPS 为 100。高并发状况下吞吐量不如 Elasticsearch 更敌对

7 总结

Clickhouse 与 Elasticsearch 比照 Clickhouse 的优缺点。

长处:

• 硬件资源老本更低，等同场景下，Clickhouse 占用的资源更小。
• 人力老本更低，新人学习、开发单测以及测试方面都更加敌对，更容易染指。
• OLAP 场景下 Clickhouse 比 Elasticsearch 更适宜，聚合计算比 Elasticsearch 更精缺、更快，更节俭服务器计算资源。
• 写入性能更高，等同状况下是 Elasticsearch 的 5 倍，写入时耗费的服务器资源更小。
• Elasticsearch 在大量导出状况下频繁 GC，重大可能导致宕机，不如 Clickhouse 稳固。
• 查问性能均匀是 Elasticsearch 的 12.7 倍，Clickhouse 的查问性能受服务器配置影响较小
• 月服务器生产雷同状况 Clickhouse 可能失去更好的性能。

毛病：

• 在全文搜寻上不如 Elasticsearch 反对的更好，在高并发查问上反对的不如 Elasticsearch 反对的更好

作者：京东物流 马红岩

内容起源：京东云开发者社区