乐趣区

关于数据库:5分钟搞定-MySQL-到-ElasticSearch-迁移同步CloudCanal实战

简述

本文介绍如何通过 CloudCanal,五分钟内创立一条 长期稳固运行 的 MySQL -> ElasticSearch (以下简称 ES) 实时数据迁徙同步链路。

技术底细

限流

MySQL 到 ES 数据迁徙同步过程中,往往会面临源端写入对端 RPS 较大问题,导致 ES 负载较大,影响业务对 ES 的失常读写。CloudCanal 为了应答这个状况,提供限流能力。同步工作创立结束后,可在 工作详情 -> 参数设置 对源端流量进行限流。

时区解决

CloudCanal 容许用户在创立数据迁徙同步工作时指定时区。写入 ES 时,源端工夫类型数据将会格式化并带上时区信息 , 反对用户在跨国、跨地区场景下应用。

主动创立索引和 Mapping 构造

CloudCanal 迁徙同步工作反对主动将源端数据库表构造映射成 ES 索引,该过程中容许用户在 列(column/field) 级别上,个性化设置本人须要的索引和 Mapping 构造。这些设置包含:

  • 每个列能够指定是否须要索引
  • 能够对 text 类型的 field 设置 ES mapping 中的分词器(规范分词器)
  • 索引分片数、正本数自定义设置

映射已建索引

用户可能曾经在 ES 中提前建好了索引,这种状况下 CloudCanal 会主动探测,并容许用户配置映射,一张表可映射对端一个索引。

内置 _id 生成和 routing field 指定

写入 ES 时候 _id 用于惟一标识一个 doc。CloudCanal 数据同步默认遵循以下准则:

  • routing 应用 _id 值
  • 单主键表,会默认应用源端关系表的主键列的列值作为 _id 的值
  • 多主键表,会通过分隔符 $ 连贯多个主键列的值,组成惟一的 _id 值
  • 无主键表,会将所有列的值通过 $ 连贯,生成惟一的 _id 值

举个 ” 栗子 ”

筹备 CloudCanal

  • 如没有装置 CloudCanal,请参考《CloudCanal 装置教程》装置。上面例子介绍如何创立一个 MySQL->ElasticSearch 的迁徙同步工作。

增加数据源

  • CloudCanal 反对 6.8 及以上版本 ES,咱们点击 数据源治理 -> 新增数据源 增加 ES 数据源
  • 填写必要 host 信息后点击 新增数据源

创立工作

  • 点击工作治理,抉择创立工作

数据源设置

  • 勾选源端和指标端数据库,并且抉择相应的数据库

性能配置

  • 抉择数据同步,并勾选数据初始化 (带 全量迁徙)

表 &ACTION 过滤

  • 此处能够进行的操作次要是:

    • 勾选须要订阅的表
    • 抉择须要映射的索引(反对映射曾经存在的索引)
    • 勾选 IUD 过滤
    • 批量设置分片数

    tips: CloudCanal 的构造迁徙反对主动帮用户依照源端表构造创立索引

数据处理

  • 本页面提供的次要能力有:

    • 列裁剪设置(包含批量筛选和设置)
    • 设置源端 where 过滤条件
    • 索引设置
    • 分词器设置
    • 列映射(如果同步的是曾经存在的索引,反对列映射)

创立确认

  • 最初一步,确认创立内容无误后点击确认创立。

查看工作状态

  • 回到 CloudCanal 控制台,刷新并查看工作实时状态,从构造迁徙、数据初始化,到数据同步。
  • 登录 ES Kibana 控制台,查看迁徙同步过来的构造和数据。

总结

本文简略介绍了如何应用 CloudCanal 疾速构建 MySQL->ElasticSearch 数据迁徙同步链路,更多的源端和指标端陆续凋谢。各位小伙伴,如果感觉还不错,请点赞、评论加转发吧。

更多精彩

  • 5 分钟搞定 -mysql- 到 -mysql- 异构 - 在线数据迁徙同步
  • mysql- 到 -elasticsearch- 实时同步构建数据检索服务的选型与思考
  • 构建基于 kafka 直达的混合云在线数据生态 -cloudcanal 实战
  • mysql 到 clickhouse 实时同步 -cloudcanal 实战

社区快讯

  • 咱们创立 CloudCanal 微信粉丝群啦,在外面,你能够失去最新版本公布信息和资源链接,你能看到其余用户一手评测、应用状况,你更能失去激情的问题解答,当然你还能够给咱们提需要和问题。快快退出吧。

    • 增加咱们小助手微信 suhuayue001 拉您进群,接头语(“CloudCanal yyds”)

退出 CloudCanal 粉丝群把握一手音讯和获取更多福利,请增加咱们小助手微信:suhuayue001
CloudCanal- 收费好用的企业级数据同步工具,欢送品鉴。
理解更多产品能够查看官方网站:http://www.clougence.com
CloudCanal 社区:https://www.askcug.com/

退出移动版