关于数据库:5分钟搞定-MySQL-到-TiDB-的数据同步-CloudCanal实战

cloudcanal-zycgit

简述

TiDB 是国内十分炽热的一款分布式数据库,参考 Google Percolator 和 Spanner 模型进行构建,具备很好的扩展性,并且反对强统一事务和肯定的计算能力,利用宽泛。

CloudCanal 提供了从传统关系型数据库实时同步到 TiDB 的能力,并且附带数据迁徙数据校验数据勘误等能力。此文章简要介绍如何疾速构建一条长期稳固运行的 MySQL->TiDB 数据链路。

技术要点

MySQL 协定兼容性

TiDB 对于 MySQL 协定兼容做得不错(4.X 版本),然而其中也有瑕疵点,对于数据迁徙同步来说,关注 3 个方面的信息:元数据数据类型DDL 反对

元数据层面, 特地 information_schema 的反对,比拟残缺。数据类型层面,如果不波及 GIS 等类型,根本兼容(可能咱们还没测试全面)。

DDL 反对层面,比拟显著的是不反对同时做屡次 DDL action , 比方: alter table add column col1 varchar(255), add col2 bigint(20) not null, modify col3 datetime 。而往往这种 SQL 在数据库运维中十分常见(进步 DDL 效率)

针对差别点,CloudCanal 都做了兼容,特地是 DDL 同步的兼容,加上库、表、列映射,存在肯定的工作量。

举个 “栗子”

筹备 CloudCanal

  • SaaS 版参考 自建机器客户端装置
  • 社区版参考 Docker装置

增加数据源

  • 登录 CloudCanal 平台
  • 数据源治理 -> 增加数据源
  • 抉择 自建数据源 ,并填写相干数据库信息,其中 网络地址 请按提醒带上端口号
  • 如下已增加完 MySQL 和 TiDB

创立同步工作

  • 工作治理->新建工作

  • 源端抉择刚增加的 MySQL 数据源,指标抉择 TiDB, 别离点击 测试连贯 按钮以测试数据库连通性和获取 schema 级别元信息
  • 抉择源端和指标端 schema , 能够选取多个
  • 点击下一步

  • 抉择 数据同步,并且勾选全量数据初始化
  • 规格能够依据工作重要度以及部署机器的内存容量正当抉择,个别 2GB 内存规格即可
  • 勾选 DDL 同步, CloudCanal 将同步罕用的 create table /alter table/rename table DDL ,然而不同步其余 DDL
  • 勾选 开启xx校验 , 则主动为同步工作创立一个子工作,在同步 catch up 后 ,主动运行数据校验。当然也能够独自创立数据校验工作
  • 点击下一步

  • 勾选须要同步的表,如果指标表为橙色,示意不存在同名表,工作创立实现后主动进行构造迁徙。也能够下拉框抉择表进行映射
  • 勾选须要同步的 INSERT/UPDATE/DELETE 操作,默认全选
  • 点击下一步

  • 通过勾选做列映射列裁剪
  • 点击下一步

  • 对工作内容进行创立 ,如果工作不须要立即运行 , 可置灰主动启动工作 按钮
  • 点击确认创立

工作同步

  • 工作分为 3 个阶段:

    构造迁徙、数据初始化、数据同步,每一个阶段实现时,状态主动流转,直到同步稳态

    • 构造迁徙:当对端数据源不存在对应的库表构造时主动创立,包含RDB库表、音讯 topic、搜索引擎 index 等
    • 数据初始化:将源端所选库表数据以全量迁徙形式搬迁到对端
    • 数据同步:准实时的同步增量数据,即源端数据库上产生的增、删、改操作将以亚秒级提早呈现在对端数据源上

FAQ

目前源端还反对哪些数据源?

除了 MySQL 到 TiDB 之外,截止社区版 1.0.2 版本,还反对 Oracle -> TiDB 链路,更多的链路如果有需要,能够按需增加,请到咱们需要贴反馈

总结

本文简略介绍了如何应用 CloudCanal 疾速构建 MySQL->TiDB 数据迁徙同步链路,更多的源端和指标端陆续凋谢。各位小伙伴,如果感觉还不错,请点赞、评论加转发吧。

更多精彩

  • 5分钟搞定 MySQL 到 ElasticSearch 迁徙同步-CloudCanal 实战
  • 5分钟搞定 MySQL 到 MySQL 异构在线数据迁徙同步-CloudCanal 实战
  • 5分钟搞定 MySQL 到 ClickHouse 实时数据同步-CloudCanal 实战
  • MySQL 到 ElasticSearch 实时同步构建数据检索服务的选型与思考
  • 构建基于Kafka直达的混合云在线数据生态-cloudcanal实战

社区快讯

  • 咱们创立 CloudCanal 微信粉丝群啦,在外面,你能够失去最新版本公布信息和资源链接,你能看到其余用户一手评测、应用状况,你更能失去激情的问题解答,当然你还能够给咱们提需要和问题。快快退出吧。

    • 扫描下方二维码,增加咱们小助手微信suhuayue001拉您进群,接头语(“CloudCanal yyds”)

退出CloudCanal粉丝群把握一手音讯和获取更多福利,请增加咱们小助手微信:suhuayue001
CloudCanal-收费好用的企业级数据同步工具,欢送品鉴。
理解更多产品能够查看官方网站: http://www.clougence.com
CloudCanal社区:https://www.askcug.com/

【腾讯云】云产品限时秒杀,爆款1核2G云服务器,首年50元

阿里云限时活动-2核2G-5M带宽-60G SSD-1000G月流量 ,特惠价99元/年(原价1234.2元/年,可以直接买3年),速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表评论

您的电子邮箱地址不会被公开。

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据