共计 2135 个字符,预计需要花费 6 分钟才能阅读完成。
简介
TiDB 是一款由 PingCAP 开源的 分布式关系型 数据库,主打 HTAP 能力,具备 优良的伸缩性。其开源社区弱小,产品颇具风行度。
数据同步场景中,TiDB 官网提供如 TiCDC、TiDB Binlog 等工具,但为了满足用户将 TiDB 数据迁徙同步到更加宽泛数据库的需要,CloudCanal 近期推出了 TiDB 为源端的数据迁徙同步 性能,本文将简要介绍该能力的落地。
性能介绍
指标数据库和能力
指标端数据源 | 构造迁徙 | 数据初始化 | 增量同步 | 数据校验 | 数据勘误 |
---|---|---|---|---|---|
MySQL | 反对 | 反对 | 反对 | 反对 | 反对 |
TiDB | 反对 | 反对 | 反对 | 反对 | 反对 |
指标数据源一直减少中
TiDB 源端特色能力
不依赖 TiCDC
TiDB 为源端的增量数据同步实现有两种形式
- 作为 TiCDC 上游接管变更记录,实现数据同步
- 与 TiKV/PD 间接通信,接管实时变更数据,实现数据同步
CloudCanal 思考到部署的 轻量性 、 可控性 ,抉择了第二种计划,跳过 TiCDC、TiDB Server 组件, 间接与 PD 建设 gRPC 通信,实时接管源端数据变更记录,通过算法解析字节流内容,主动同步到对端数据库中。
反对断点续传
长周期数据同步,工作可能会因为 参数调整 、 问题数据修复 、 性能优化 等操作暂停或重启工作,断点续传能力不可或缺。
CloudCanal 为 TiDB 源端定时或定量保留对端生产后的位点,以实现断点续传能力。
全量迁徙中,对亿级别数据量的大表中断重启,断点续传能力可尽可能少的影响迁徙进度,增量同步中,断点续传能力确保工作重启后可持续,并不失落数据。
变更事件保序
订阅 TiDB 增量变更事件,可能因为各种起因,个别变更数据达到工夫不统一(乱序),导致数据失落或变更谬误。
CloudCanal 为此采纳自研算法处理事件,并依据事务 最终提交工夫 来保障事务的有序生产。
反对 DDL、DML 增量数据同步
CloudCanal 反对以 TiDB 为源端,TiDB、MySQL 为对端 (反对的对端数据源还在一直减少) 的 DDL 和 DML 同步。
DDL 数据同步能力:
- ALTER TABLE … ADD/DROP/MODIFY COLUMN …
- ALTER TABLE … ADD/ALTER/DROP INDEX …
- RENAME TABLE … TO …
DML 数据同步能力
- INSERT/UPDATE/DELETE
除了 DDL、DML 同步性能实现,CloudCanal 依据 SCHEMA SNAPSHOT 和 DDL 构建了表 多版本表快照能力,确保变更数据和构造保持一致,数据生产更加精准。
构造迁徙类型主动解决与优化
不同数据库对于数据类型反对存在差别,CloudCanal 构造迁徙时会进行 类型主动转换 与优化。
TiDB 为源端的构造迁徙也存在相似转换与优化,如以 MySQL 为对端的 Float 类型若不指定精度,则可能造成数据精度失落,
CloudCanal 将 Float 类型主动转换为 Float(0), 保障了精度的准确性
配套数据校验与勘误能力
在数据同步过程中,因为数据的 内部关联性 、 构造束缚差别 、 数据库运维操作 、 软件 bug等状况,两端数据可能会不统一,此时数据校验和勘误性能十分必要。
CloudCanal 为 TiDB 为源端的数据同步能力额定提供了数字、字符类型主键表的 数据校验 和数据勘误 性能,疾速确定不统一数据范畴,并针对差别数据进行修复。
产品化能力撑持
可视化创立
CloudCanal 创立 TiDB 数据迁徙同步工作是齐全可视化的,通过 获取数据库元数据 ,让用户 在 web 页面上决定哪些库、表、列进行迁徙同步 ,或者设定 过滤条件 、 自定义数据处理逻辑 等。
自动化流程
TiDB 数据迁徙同步工作创立后,CloudCanal 将 主动流转 各个阶段的工作,用户无需干预,中转数据实时同步状态。
监控图表撑持
CloudCanal 为 TiDB 数据迁徙同步工作提供了多个实用监控指标,包含 增量缓存 RPS、增量缓存提早 (ms)、 内存队列数据个数 等,当调优工作性能或排查工作异样起因时,监控指标提供了很好的判断根据。
告警反对
CloudCanal 为 TiDB 数据迁徙工作提供了包含 钉钉 / 企业微信 / 飞书 / 自定义 等 webhook 类型告警,对于企业级客户,可额定抉择 邮件 ,以及 短信告警,实时保障同步工作的高可用。
简略示例
本示例以将数据从 TiDB 数据库同步到 MySQL 数据库为操作案例,以便更好地阐明 CloudCanal 在不同数据库之间进行数据同步的能力。
筹备动作
- 筹备 CloudCanal,装置具体请参考:全新装置
- 筹备好 TiDB 数据库(本例应用 5.4.3 版本)和 MySQL 数据库(本例应用 8.0 版本)
- 登录 CloudCanal 平台,增加 TiDB 和 MySQL
- TiDB 增量同步依赖 PD 通信,如需进行增量同步,请在额定参数处填写 PD 地址
工作创立
- 工作治理 -> 新建工作
- 测试链接并抉择 源 和 指标 数据库
- 点击下一步
- 抉择 数据同步,并勾选 全量数据初始化,其余选项默认
- 抉择须要迁徙同步的表和列 (本例以常见的 数字、字符、工夫类型主键、多主键表为例)
- 确认创立工作
- 工作主动执行构造迁徙、全量同步和增量同步,执行一些增量数据同步后进行数据校验,结果显示数据校验通过
总结
本文次要介绍了 CloudCanal 反对 TiDB 为源端数据迁徙同步性能,通过这个能力,用户能够便当地将 TiDB 中数据实时同步到其余数据库,实现数据更宽泛、更实时的利用。