Clickhouse 是当初最风行的 OLAP 数据库之一，尽管名声如雷贯耳，但在咱们心目中总有一个疑难，到底为什么咱们须要 Clickhouse，是哪些长处让字节、腾讯这些大公司都抉择它作为最举荐的 OLAP 数据库，这篇文章将试图带咱们找到答案。
一、什么是 Clickhouse？
Clickhouse 是一个开源应用列式存储的 OLAP 数据库，最后由 Yandex 公司开发，当初从 Yandex 拆分进去并成立了独立的 Clickhouse Inc，其性能相似于 Google Analytics。它的指标是解决数万亿行和数 PB 的数据，并疾速执行剖析查问。
Clickhouse 等 OLAP 数据库通常用于答复诸如 ” 昨天有多少人拜访掘金？昨天有多少人拜访 CSDN” 之类的业务问题。如果应用传统的 OLTP 数据库来解决，可能须要几分钟甚至几个小时。而如果应用 OLAP 数据库，咱们几毫秒就失去后果。OLTP 和 OLAP 之间的微小速度差别是因为应用的底层存储构造不同，OLTP 数据库通常应用 行式存储 ，OLAP 则通常应用 列式存储。
什么是列式存储？
假如咱们有如下数据：
| 工夫戳 | 域名 | 拜访 |
|---|---|---|
| 2022-10-26 12:00 | www.ifb.me | 20 |
| 2022-10-26 12:00 | www.fflow.link | 300 |
| 2022-10-26 12:01 | www.ifb.me | 15 |
| 2022-10-26 12:02 | blog.fflow.link | 21 |
如果咱们应用 PostgreSQL 和 MySQL 等的 OLTP 数据库，数据将按如下构造进行存储：
第 1 行 -> 2022-10-26 12:00，www.ifb.me，20；第 2 行 -> 2022-10-26 12:00，www.fflow.link，300；第 3 行 -> 2022-10-26 12:01，www.ifb.me，15；第 4 行 -> 2022-10-26 12:02，blog.fflow.link，21；一行中的每一列的数据会在磁盘中相邻写入，这样的存储构造会让单行的数据查找、更新和删除操作很快。然而当咱们须要进行聚合的时候，比方统计 www.ifb.me 的拜访次数，数据库则须要逐行读取数据并统计求和。这样不仅带来了大量的 IO 操作，而且解决的时候也会比拟长。
然而如果咱们应用列式存储的数据库，数据将按如下构造进行存储：
工夫戳列 -> 2022-10-26 12:00:001,2022-10-26 12:00:002,2022-10-26 12:01:003,2022-10-26 12:02:004；拜访域名列 -> www.ifb.me:001,www.fflow.link:002,www.ifb.me:003,blog.fflow.link:004;
拜访次数列 -> 20:001,300:002,15:003,21:004；列式存储中的每一行数据都是离开存储的。如果须要统计 www.ifb.me 的拜访次数，数据库首先须要从拜访域名列中找到 www.ifb.me 对应的 id，而后再对 id 的拜访次数列求和。这样数据库就不须要再跨很多磁盘页来检索数据，因为它只须要先获取满足条件的列数据。这就是为什么应用列式存储的数据库进行剖析查问，比应用行式存储的数据库快很多。
二、为什么 Clickhouse 扭转了游戏规则
Clickhouse 或 OLAP 数据库的主要用途包含但不限于：
- 数据分析
- 数据挖掘
- 商业智能
- 日志剖析
Clickhouse 是一个反对多种数据存储引擎的数据库，简直反对将任何数据源导入到 Clickhouse 数据库中，并反对疾速灵便的下钻剖析。比方，当初微信就应用 Clickhouse 来存储日志数据，因为日志外面通常有十分多的反复值，应用 Clickhouse 能够失去十分高的压缩率，缩小日志占用的存储空间；Cloudflare、Mux、Plausible、GraphCDN 和 Panelbear 等公司则应用 Clickhouse 存储流量数据，并在其仪表板中向用户出现相干报告；而 Percona 正在应用 Clickhouse 来存储和剖析数据库性能指标。
三、什么场景不适宜 Clickhouse
Clickhouse 并不能取代关系型数据，也不是为了解决事务性数据而开发的，Clickhouse 更多的是作为 OLTP 补充，不便用来进行数据分析。如果须要对数据进行更新和删除，或者须要进行多表关联，那么咱们通常不举荐应用 Clickhouse。
另外也要防止把 Clickhouse 用作 OLTP 数据库的正本。当然从技术上讲，咱们能够把 OLTP 数据库的数据通过事件的形式同步到 Clickhouse，但最好的做法是应用 Clickhouse 作为数据的惟一实在起源，而不是作为 OLTP 数据库的镜像。
四、为什么 MySQL 不应用列式存储？
- 分页敌对，且能够将数据都放到叶子节点，能够兼顾 Scan 与 Lookup
- 数据更新不便 (这对列式存储是硬伤，所以
很多 OLAP 数据库不反对更新，或者用简单的形式反对更新) - 事务型数据库的次要性能瓶颈是 I/O，更新一行数据，列式存储须要进行屡次 I/O，然而行式少数几次就够了。
五、Clickhouse 的长处
开源社区很沉闷
在评估开源软件的时候，咱们必须思考它的社区是否沉闷，如果咱们应用了一个开源软件，然而这个开源软件忽然就不保护了就会让人很难堪，比方之前阿里的 Dubbo。当然这种状况在开源的世界外面并不少见，咱们须要尽可能的应用有大公司 / 组织背书的开源软件。如果咱们抉择应用 Clickhouse，咱们就不须要放心这些。不论是国内的字节、腾讯、阿里，还是国外的 Cloudflare、eBay、Spotify，这些业界出名的公司都在应用 Clickhouse。
飞快的查问速度
依据 Marko Medojevic 的报告，如果对 11M 的数据集进行剖析查问，Clickhouse 的查问速度会比 MySQL 快约 260 倍。然而，兴许这种比拟并不偏心，因为 MySQL 毕竟是 OLTP 数据库，但这也从侧面反馈了 OLAP 数据库的劣势所在。
Clickhouse 实现的极致性能来自其独特的数据库引擎 MergeTree，而且 Clickhouse 也比拟趋向于应用通用的硬件来做查问性能优化。
小索引（稠密索引）
大家都晓得在数据库中疾速查找数据的要害是索引。索引最好保留在内存中以便快速访问。在 OLTP 数据库中，索引通常应用 B+ 树来进行存储，比方下图。
这实用于 OLTP 数据库，因为主键实质上是必不可少的。在 OLTP 数据库中，通常是通过主键 ID 查询数据库，例如 SELECT username, email FROM user WHERE id = 10086 或相似 UPDATE user SET email = “h[email protected]m” WHERE id = 10086 等查问。然而，一旦数据增长到数十亿行并且索引在内存中放不下的时候，这种类型的索引局限性就非常明显。
而在 Clickhouse 中，索引的结构如下图所示。
Clickhouse 应用的索引 和 Kafka 相似，其仅存储索引数据的子集。这样的益处是索引绝对较小，就算是很大的数据量，其索引在内存外面也放得下。咱们设想一下如果要应用 SELECT SUM(visit) FROM visit WHERE date BETWEEN ‘2022-10-01’ AND ‘2022-10-31’ 进行查问，数据库应用稠密索引的形式就很适合，因为咱们的查问条件是日期范畴，而不是主键 ID。这就是为什么稠密索引在 OLAP 数据库中常常应用的起因。
数据压缩
因为 Clickhouse 的数据是按列而不是按行存储的，所以它可能比行式数据库能更好地压缩数据。有数据表明，同样的数据放在 Clickhouse，相比于放在 PostgreSQL 所需的磁盘空间缩小了 70%。另外在 Clickhouse 中，能够和不便的指定列的数据压缩算法和压缩级别。
数据 TTL
通常咱们不倡议无限度的存储数据，这样会节约十分多的磁盘空间。个别状况下，设置一个适合的数据保留工夫是比拟好的抉择。在 Clickhouse 中，能够通过在创立表时设置数据的 TTL 轻松做到这一点。
适配多种语言
Clickhouse 的社区十分沉闷，当初就曾经反对 Java、Go、Python 等风行语言的 SDK，如果应用 Perl 小众语言，Clickhouse 也反对通过 HTTP 接口操作拜访数据。
程度可扩大和高可用
Clickhouse 在构建时就思考了程度可扩展性和高可用性。咱们能够将数据分片到多个节点并将数据复制到另一组服务器中。当然程度可扩展性和高可用性性能会带来额定的复杂度，如果咱们应用 Kubernetes 部署 Clickhouse，能够应用 Clickhouse Kubernetes Operator 进行配置。
六、小结
瞎话说，当初如果有数据分析的场景，我第一个想到的计划就是应用 Clickhouse，如果再联合一下 Superset 等开源 BI 工具，咱们就能够十分疾速的搭建起来轻量的数据分析系统，这样对于大多数中小公司来说就曾经齐全够用了。最初，如果想疾速试用一下，举荐试用 docker 进行装置。
$ docker run -d --name clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 yandex/clickhouse-server\
$ docker exec -it clickhouse-server clickhouse-client本文亦通过 NoOne’s Blog 发表，更多分享请关注公众号 NoOneNoOne