我的项目地址：https://github.com/tal-tech/cds
ClickHouse是一个用于联机剖析(OLAP)的列式数据库管理系统(DBMS)。它有着优异的性能，能够疾速部署和运行。
不过要想应用ClickHouse搭建起数仓用于数据分析，一个重要的问题就是数据如何进入ClickHouse？
咱们心愿数据源的变动可能主动实时地被同步到ClickHouse，而且反对不便的动静的增加新的数据源(新的数据库，表)，
可能主动的生成对应数据源的schema。
go-zero 团队应用go语言围绕ClickHouse开发了一些不便的组件与服务。
咱们失去了上面这样的数据同步设计
该数据同步零碎大抵由以下三局部组成
- DM 全量同步服务 github.com/tal-tech/cds/dm
- RTU 实时增量同步服务 github.com/tal-tech/cds/rtu
- Galaxy 网页控制台服务 github.com/tal-tech/cds/galaxy
流程如下：
- 用户能够在网页控制台增加数据源，主动生成DDL，增加同步工作，该工作会被发送到etcd。
- dm会收到全量同步的告诉，执行历史数据的全量同步工作。
- 之后网页控制台服务会指定connector开启数据库log监听工作，数据会进入kafka。
- 监听etcd集群的RTU实时增量同步服务服务会发现有新的工作，RTU主动支付工作，到kafka生产数据并同步至ClickHouse。
上述服务的开发应用了go语言。借助于go-zero中的工具包，如goctl等，
咱们疾速实现了它。它还退出了反对自适应mongoDB构造变动，反对数据分表等。
咱们置信这是go语言与ClickHouse摸索大数据的一个不错的终点，咱们心愿有更多的人可能参加进来。
CDS我的项目地址：https://github.com/tal-tech/cds
go-zero我的项目地址：https://github.com/tal-tech/go-zero
欢送大家 star 并退出微信社区 ????
我的项目地址：
https://github.com/tal-tech/go-zero