简述

本文介绍如何通过 CloudCanal，五分钟内创立一条 长期稳固运行 的 MySQL -> ElasticSearch (以下简称 ES) 实时数据迁徙同步链路。

技术底细

限流

MySQL 到 ES 数据迁徙同步过程中，往往会面临源端写入对端 RPS 较大问题，导致 ES 负载较大，影响业务对 ES 的失常读写。CloudCanal 为了应答这个状况，提供限流能力。同步工作创立结束后，可在 工作详情 -> 参数设置 对源端流量进行限流。

时区解决

CloudCanal 容许用户在创立数据迁徙同步工作时指定时区。写入 ES 时，源端工夫类型数据将会格式化并带上时区信息 , 反对用户在跨国、跨地区场景下应用。

主动创立索引和 Mapping 构造

CloudCanal 迁徙同步工作反对主动将源端数据库表构造映射成 ES 索引，该过程中容许用户在 列(column/field) 级别上，个性化设置本人须要的索引和 Mapping 构造。这些设置包含：

• 每个列能够指定是否须要索引
• 能够对 text 类型的 field 设置 ES mapping 中的分词器(规范分词器)
• 索引分片数、正本数自定义设置

映射已建索引

用户可能曾经在 ES 中提前建好了索引，这种状况下 CloudCanal 会主动探测，并容许用户配置映射，一张表可映射对端一个索引。

内置 _id 生成和 routing field 指定

写入 ES 时候 _id 用于惟一标识一个 doc。CloudCanal 数据同步默认遵循以下准则：

• routing 应用 _id 值
• 单主键表，会默认应用源端关系表的主键列的列值作为 _id 的值
• 多主键表，会通过分隔符 $ 连贯多个主键列的值，组成惟一的 _id 值
• 无主键表，会将所有列的值通过 $ 连贯，生成惟一的 _id 值

举个 ” 栗子 ”

筹备 CloudCanal

• 如没有装置 CloudCanal，请参考《CloudCanal 装置教程》装置。上面例子介绍如何创立一个 MySQL->ElasticSearch 的迁徙同步工作。

增加数据源

• CloudCanal 反对 6.8 及以上版本 ES，咱们点击 数据源治理 -> 新增数据源 增加 ES 数据源
  
• 填写必要 host 信息后点击 新增数据源
  

创立工作

• 点击工作治理，抉择创立工作
  

数据源设置

• 勾选源端和指标端数据库，并且抉择相应的数据库
  

性能配置

• 抉择数据同步，并勾选数据初始化 (带 全量迁徙)
  

表 &ACTION 过滤

• 此处能够进行的操作次要是：

  • 勾选须要订阅的表
  • 抉择须要映射的索引（反对映射曾经存在的索引）
  • 勾选 IUD 过滤
  • 批量设置分片数

  tips: CloudCanal 的构造迁徙反对主动帮用户依照源端表构造创立索引

数据处理

• 本页面提供的次要能力有：

  • 列裁剪设置(包含批量筛选和设置)
  • 设置源端 where 过滤条件
  • 索引设置
  • 分词器设置
  • 列映射（如果同步的是曾经存在的索引，反对列映射）

创立确认

• 最初一步，确认创立内容无误后点击确认创立。
  

查看工作状态

• 回到 CloudCanal 控制台，刷新并查看工作实时状态，从构造迁徙、数据初始化，到数据同步。
  
• 登录 ES Kibana 控制台，查看迁徙同步过来的构造和数据。
  

总结

本文简略介绍了如何应用 CloudCanal 疾速构建 MySQL->ElasticSearch 数据迁徙同步链路，更多的源端和指标端陆续凋谢。各位小伙伴，如果感觉还不错，请点赞、评论加转发吧。

更多精彩

• 5 分钟搞定 -mysql- 到 -mysql- 异构 - 在线数据迁徙同步
• mysql- 到 -elasticsearch- 实时同步构建数据检索服务的选型与思考
• 构建基于 kafka 直达的混合云在线数据生态 -cloudcanal 实战
• mysql 到 clickhouse 实时同步 -cloudcanal 实战

社区快讯

• 咱们创立 CloudCanal 微信粉丝群啦，在外面，你能够失去最新版本公布信息和资源链接，你能看到其余用户一手评测、应用状况，你更能失去激情的问题解答，当然你还能够给咱们提需要和问题。快快退出吧。

  • 增加咱们小助手微信 suhuayue001 拉您进群，接头语(“CloudCanal yyds”)

退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/