共计 4226 个字符,预计需要花费 11 分钟才能阅读完成。
本文首发于 2020-09-15 20:15:14
《ClickHouse 和他的敌人们》系列文章转载自圈内好友 BohuTANG 的博客,原文链接:
https://bohutang.me/2020/09/1…
以下为注释。
在 MySQL 里,为了保障高可用以及数据安全性会采取主从模式,数据通过 binlog 来进行同步。
在 ClickHouse 里,咱们能够应用 ReplicatedMergeTree 引擎,数据同步通过 zookeeper 实现。
本文先从搭建一个多 replica 集群开始,而后一窥底层的机制,简略吃两口。
1. 集群搭建
搭建一个 2 replica 测试集群,因为条件无限,这里在同一台物理机上起 clickhouse-server(2 个 replica) + zookeeper(1 个),为了防止端口抵触,两个 replica 端口会有所不同。
1.1 zookeeper
docker run -p 2181:2181 --name some-zookeeper --restart always -d zookeeper
1.2 replica 集群
replica-1 config.xml:
<zookeeper>
<node index="1">
<host>172.17.0.2</host>
<port>2181</port>
</node>
</zookeeper>
<remote_servers>
<mycluster_1>
<shard_1>
<internal_replication>true</internal_replication>
<replica>
<host>s1</host>
<port>9000</port>
</replica>
<replica>
<host>s2</host>
<port>9001</port>
</replica>
</shard_1>
</mycluster_1>
</remote_servers>
<macros>
<cluster>mycluster_1</cluster>
<shard>1</shard>
<replica>s1</replica>
</macros>
<tcp_port>9101</tcp_port>
<interserver_http_port>9009</interserver_http_port>
<path>/cluster/d1/datas/</path>
replica-2 config.xml:
<zookeeper>
<node index="1">
<host>172.17.0.2</host>
<port>2181</port>
</node>
</zookeeper>
<remote_servers>
<mycluster_1>
<shard_1>
<internal_replication>true</internal_replication>
<replica>
<host>s1</host>
<port>9000</port>
</replica>
<replica>
<host>s2</host>
<port>9001</port>
</replica>
</shard_1>
</mycluster_1>
</remote_servers>
<macros>
<cluster>mycluster_1</cluster>
<shard>1</shard>
<replica>s2</replica>
</macros>
<tcp_port>9102</tcp_port>
<interserver_http_port>9010</interserver_http_port>
<path>/cluster/d2/datas/</path>
1.3 创立测试表
CREATE TABLE default.rtest1 ON CLUSTER 'mycluster_1'
(
`id` Int64,
`p` Int16
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/replicated/test', '{replica}')
PARTITION BY p
ORDER BY id
1.4 查看 zookeeper
docker exec -it some-zookeeper bash
./bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 17] ls /clickhouse/tables/replicated/test/replicas
[s1, s2]
两个 replica 都曾经注册到 zookeeper。
2. 同步原理
如果在 replica-1 上执行了一条写入:
replica-1> INSERT INTO rtest VALUES(33,33);
数据是如何同步到 replica-2 的呢?
s1. replica-1> StorageReplicatedMergeTree::write --> ReplicatedMergeTreeBlockOutputStream::write(const Block & block)
s2. replica-1> storage.writer.writeTempPart,写入本地磁盘
s3. replica-1> ReplicatedMergeTreeBlockOutputStream::commitPart
s4. replica-1> StorageReplicatedMergeTree::getCommitPartOp,提交 LogEntry 到 zookeeper,信息包含:
ReplicatedMergeTreeLogEntry {
type: GET_PART,
source_replica: replica-1,
new_part_name: part->name,
new_part_type: part->getType
}
s5. replica-1> zkutil::makeCreateRequest(zookeeper_path + "/log/log-0000000022"),更新 log_pointer 到 zookeeper
s6. replica-2> StorageReplicatedMergeTree::queueUpdatingTask(),定时 pull 工作
s7. replica-2> ReplicatedMergeTreeQueue::pullLogsToQueue,拉取
s8. replica-2> zookeeper->get(replica_path + "/log_pointer"),向 zookeeper 获取以后 replica 曾经同步的位点
s9. replica-2> zookeeper->getChildrenWatch(zookeeper_path + "/log"),向 zookeeper 获取所有的 LogEntry 信息
s10. replica-2> 依据同步位点 log_pointer 从所有 LogEntry 中筛选须要同步的 LogEntry,写到 queue
s11. replica-2> StorageReplicatedMergeTree::queueTask,生产 queue 工作
s12. replica-2> StorageReplicatedMergeTree::executeLogEntry(LogEntry & entry),依据 LogEntry type 执行生产
s13. replica-2> StorageReplicatedMergeTree::executeFetch(LogEntry & entry)
s14. replica-2> StorageReplicatedMergeTree::fetchPart,从 replica- 1 的 interserver_http_port 下载 part 目录数据
s15. replica-2> MergeTreeData::renameTempPartAndReplace,把文件写入本地并更新内存 meta 信息
s16. replica-2> 数据同步实现
也能够进入 zookeeper docker 外部间接查看某个 LogEntry:
[zk: localhost:2181(CONNECTED) 85] get /clickhouse/tables/replicated/test/log/log-0000000022
format version: 4
create_time: 2020-09-13 16:39:05
source replica: s1
block_id: 33_2673203974107464807_7670041793554220344
get
33_2_2_0
3. 总结
本文以写入为例,从底层剖析了 ClickHouse ReplicatedMergeTree 的工作原理,逻辑并不简单。
不同 replica 的数据同步须要 zookeeper(目前社区有人在做 etcd 的集成 pr#10376)做元数据协调,是一个订阅 / 生产模型,波及具体数据目录还须要去相应的 replica 通过 interserver_http_port 端口进行下载。
replica 的同步都是以文件目录为单位,这样就带来一个益处:咱们 能够轻松实现 ClickHouse 的存储计算拆散,多个 clickhouse-server 能够同时挂载同一份数据进行计算,而且这些 server 每个节点都是可写,虎哥曾经实现了一个能够 work 的原型,详情请参考下篇 < 存储计算拆散计划与实现 >。
4. 参考
- [1]StorageReplicatedMergeTree.cpp
- [2]ReplicatedMergeTreeBlockOutputStream.cpp
- [3]ReplicatedMergeTreeLogEntry.cpp
- [4]ReplicatedMergeTreeQueue.cpp
欢送关注我的微信公众号【数据库内核】:分享支流开源数据库和存储引擎相干技术。
题目 | 网址 |
---|---|
GitHub | https://dbkernel.github.io |
知乎 | https://www.zhihu.com/people/… |
思否(SegmentFault) | https://segmentfault.com/u/db… |
掘金 | https://juejin.im/user/5e9d3e… |
开源中国(oschina) | https://my.oschina.net/dbkernel |
博客园(cnblogs) | https://www.cnblogs.com/dbkernel |