共计 1991 个字符，预计需要花费 5 分钟才能阅读完成。
cloudcanal-zycgit
简述
TiDB 是国内十分炽热的一款分布式数据库，参考 Google Percolator 和 Spanner 模型进行构建，具备很好的扩展性，并且反对强统一事务和肯定的计算能力，利用宽泛。
CloudCanal 提供了从传统关系型数据库实时同步到 TiDB 的能力，并且附带 数据迁徙 、 数据校验 、 数据勘误 等能力。此文章简要介绍如何疾速构建一条长期稳固运行的 MySQL->TiDB 数据链路。
技术要点
MySQL 协定兼容性
TiDB 对于 MySQL 协定兼容做得不错 (4.X 版本)，然而其中也有瑕疵点，对于数据迁徙同步来说，关注 3 个方面的信息： 元数据 、 数据类型、DDL 反对。
元数据层面 , 特地 information_schema 的反对，比拟残缺。 数据类型层面，如果不波及 GIS 等类型，根本兼容(可能咱们还没测试全面)。
DDL 反对层面 ，比拟显著的是不反对同时做屡次 DDL action , 比方: alter table add column col1 varchar(255), add col2 bigint(20) not null, modify col3 datetime。 而往往这种 SQL 在数据库运维中十分常见(进步 DDL 效率)。
针对差别点，CloudCanal 都做了兼容，特地是 DDL 同步的兼容，加上库、表、列映射，存在肯定的工作量。
举个“栗子”
筹备 CloudCanal
- SaaS 版参考 自建机器客户端装置
- 社区版参考 Docker 装置
增加数据源
- 登录 CloudCanal 平台
- 数据源治理 -> 增加数据源
- 抉择 自建数据源 ，并填写相干数据库信息，其中 网络地址 请按提醒带上端口号
- 如下已增加完 MySQL 和 TiDB
创立同步工作
-
工作治理 -> 新建工作
- 源端抉择刚增加的 MySQL 数据源，指标抉择 TiDB, 别离点击 测试连贯 按钮以测试数据库连通性和获取 schema 级别元信息
- 抉择源端和指标端 schema , 能够选取多个
-
点击 下一步
- 抉择 数据同步 ，并且勾选 全量数据初始化
- 规格能够依据工作重要度以及部署机器的内存容量正当抉择，个别 2GB 内存规格即可
- 勾选 DDL 同步，CloudCanal 将同步罕用的 create table /alter table/rename table DDL，然而不同步其余 DDL
- 勾选 开启 xx 校验 , 则主动为同步工作创立一个子工作，在同步 catch up 后 , 主动运行数据校验。当然也能够独自创立数据校验工作
-
点击 下一步
- 勾选须要同步的表，如果指标表为橙色，示意不存在同名表，工作创立实现后主动进行 构造迁徙。也能够下拉框抉择表进行映射
- 勾选须要同步的 INSERT/UPDATE/DELETE 操作，默认全选
-
点击 下一步
- 通过勾选做 列映射 和列裁剪
-
点击 下一步
- 对工作内容进行创立，如果工作不须要立即运行 , 可置灰 主动启动工作 按钮
-
点击 确认创立
工作同步
-
工作分为 3 个阶段：
构造迁徙、数据初始化、数据同步，每一个阶段实现时，状态主动流转，直到同步稳态
- 构造迁徙：当对端数据源不存在对应的库表构造时主动创立，包含 RDB 库表、音讯 topic、搜索引擎 index 等
- 数据初始化：将源端所选库表数据以全量迁徙形式搬迁到对端
- 数据同步：准实时的同步增量数据，即源端数据库上产生的增、删、改操作将以亚秒级提早呈现在对端数据源上
FAQ
目前源端还反对哪些数据源？
除了 MySQL 到 TiDB 之外，截止社区版 1.0.2 版本，还反对 Oracle -> TiDB 链路，更多的链路如果有需要，能够按需增加，请到咱们需要贴反馈
总结
本文简略介绍了如何应用 CloudCanal 疾速构建 MySQL->TiDB 数据迁徙同步链路，更多的源端和指标端陆续凋谢。各位小伙伴，如果感觉还不错，请点赞、评论加转发吧。
更多精彩
- 5 分钟搞定 MySQL 到 ElasticSearch 迁徙同步 -CloudCanal 实战
- 5 分钟搞定 MySQL 到 MySQL 异构在线数据迁徙同步 -CloudCanal 实战
- 5 分钟搞定 MySQL 到 ClickHouse 实时数据同步 -CloudCanal 实战
- MySQL 到 ElasticSearch 实时同步构建数据检索服务的选型与思考
- 构建基于 Kafka 直达的混合云在线数据生态 -cloudcanal 实战
社区快讯
-
咱们创立 CloudCanal 微信粉丝群啦，在外面，你能够失去最新版本公布信息和资源链接，你能看到其余用户一手评测、应用状况，你更能失去激情的问题解答，当然你还能够给咱们提需要和问题。快快退出吧。
-
扫描下方二维码，增加咱们小助手微信 suhuayue001 拉您进群，接头语(“CloudCanal yyds”)
-
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/