关于clickhouse:源码分析-ClickHouse和他的朋友们14存储计算分离方案与实现

本文首发于 2020-09-21 22:01:12

《ClickHouse 和他的敌人们》系列文章转载自圈内好友 BohuTANG 的博客，原文链接：
https://bohutang.me/2020/09/1…
以下为注释。

如果多个 ClickHouse server 能够挂载同一份数据(分布式存储等)，并且每个 server 都可写，这样会有什么益处呢？

首先，咱们能够把正本机制交给分布式存储来保障，下层架构变得简略奢侈；

其次，clickhouse-server 能够在任意机器上减少、缩小，使存储和计算能力失去充分发挥。

本文就来探讨一下 ClickHouse 的存储计算拆散计划，实现上并不简单。

1. 问题

ClickHouse 运行时数据由两局部组成：内存元数据 和磁盘数据。

咱们先看写流程：

w1. 开始写入数据
w2. 生成内存 part 信息，并保护 part metadata 列表
w3. 把 part 数据写到磁盘

再来看读流程：

r1. 从 part metadata 定位须要读取的 part
r2. 从磁盘读取 part 数据
r3. 返回给下层数据

这样，如果 server1 写了一条数据，只会更新本人内存的 part metadata，其余 server 是感知不到的，这样也就无奈查问到刚写入的数据。

存储计算拆散，首先要解决的就是内存状态数据的同步问题。

在 ClickHouse 里，咱们须要解决的是内存中 part metadata 同步问题。

2. 内存数据同步

在上篇 <ReplicatedMergeTree 表引擎及同步机制 > 中，咱们晓得正本间的数据同步机制：
首先同步元数据，再通过元数据获取相应 part 数据。

这里，咱们借用 ReplicatedMergeTree 同步通道，而后再做减法，同步完元数据后跳过 part 数据的同步，因为磁盘数据只需一个 server 做更新 (须要 fsync 语义) 即可。

外围代码：
MergeTreeData::renameTempPartAndReplace

if (!share_storage)
    part->renameTo(part_name, true);

3. 演示 demo

demo 视频

script：

1. 首先起 2 个 clickhouse-server，它们都挂载同一份数据 <path>/home/bohu/work/cluster/d1/datas/</path>
2. 通过 clickhouse-server1(port 9101) 写入一条记录:(111, 3333)
3. 通过 clickhouse-server2(port 9102) 进行查问失常
4. 通过 clickhouse-server2(port 9102) truncate 表
5. 通过 clickhouse-server1(port 9101) 查问失常

4. 代码实现

原型

须要留神的是，这里只实现了写入数据同步，而且是十分 tricky 的形式。

因为 DDL 没有实现，所以在 zookeeper 上的注册形式也比拟 tricky，demo 里的 replicas 都是手工注册的。

5. 总结

本文提供一个思路，算是抛砖引玉，同时也期待更加零碎的工程实现。

ClickHouse 临时还不反对 Distributed Query 性能，如果这个能力反对，ClickHouse 存储计算拆散就是一个威力无比的小氢弹。

欢送关注我的微信公众号【数据库内核】：分享支流开源数据库和存储引擎相干技术。