简述
本文介绍如何通过 CloudCanal，五分钟内创立一条 长期稳固运行 的 MySQL -> ElasticSearch (以下简称 ES) 实时数据迁徙同步链路。
技术底细
限流
MySQL 到 ES 数据迁徙同步过程中，往往会面临源端写入对端 RPS 较大问题，导致 ES 负载较大，影响业务对 ES 的失常读写。CloudCanal 为了应答这个状况，提供限流能力。同步工作创立结束后，可在 工作详情 -> 参数设置 对源端流量进行限流。
时区解决
CloudCanal 容许用户在创立数据迁徙同步工作时指定时区。写入 ES 时，源端工夫类型数据将会格式化并带上时区信息 , 反对用户在跨国、跨地区场景下应用。
主动创立索引和 Mapping 构造
CloudCanal 迁徙同步工作反对主动将源端数据库表构造映射成 ES 索引，该过程中容许用户在 列(column/field) 级别上，个性化设置本人须要的索引和 Mapping 构造。这些设置包含：
- 每个列能够指定是否须要索引
- 能够对 text 类型的 field 设置 ES mapping 中的分词器(规范分词器)
- 索引分片数、正本数自定义设置
映射已建索引
用户可能曾经在 ES 中提前建好了索引，这种状况下 CloudCanal 会主动探测，并容许用户配置映射，一张表可映射对端一个索引。
内置 _id 生成和 routing field 指定
写入 ES 时候 _id 用于惟一标识一个 doc。CloudCanal 数据同步默认遵循以下准则：
- routing 应用 _id 值
- 单主键表，会默认应用源端关系表的主键列的列值作为 _id 的值
- 多主键表，会通过分隔符 $ 连贯多个主键列的值，组成惟一的 _id 值
- 无主键表，会将所有列的值通过 $ 连贯，生成惟一的 _id 值
举个 ” 栗子 ”
筹备 CloudCanal
- 如没有装置 CloudCanal，请参考《CloudCanal 装置教程》装置。上面例子介绍如何创立一个 MySQL->ElasticSearch 的迁徙同步工作。
增加数据源
- CloudCanal 反对 6.8 及以上版本 ES，咱们点击 数据源治理 -> 新增数据源 增加 ES 数据源
- 填写必要 host 信息后点击 新增数据源
创立工作
- 点击工作治理，抉择创立工作
数据源设置
- 勾选源端和指标端数据库，并且抉择相应的数据库
性能配置
- 抉择数据同步，并勾选数据初始化 (带 全量迁徙)
表 &ACTION 过滤
-
此处能够进行的操作次要是：
- 勾选须要订阅的表
- 抉择须要映射的索引（反对映射曾经存在的索引）
- 勾选 IUD 过滤
- 批量设置分片数
tips: CloudCanal 的构造迁徙反对主动帮用户依照源端表构造创立索引
数据处理
-
本页面提供的次要能力有：
- 列裁剪设置(包含批量筛选和设置)
- 设置源端 where 过滤条件
- 索引设置
- 分词器设置
- 列映射（如果同步的是曾经存在的索引，反对列映射）
创立确认
- 最初一步，确认创立内容无误后点击确认创立。
查看工作状态
- 回到 CloudCanal 控制台，刷新并查看工作实时状态，从构造迁徙、数据初始化，到数据同步。
- 登录 ES Kibana 控制台，查看迁徙同步过来的构造和数据。
总结
本文简略介绍了如何应用 CloudCanal 疾速构建 MySQL->ElasticSearch 数据迁徙同步链路，更多的源端和指标端陆续凋谢。各位小伙伴，如果感觉还不错，请点赞、评论加转发吧。
更多精彩
- 5 分钟搞定 -mysql- 到 -mysql- 异构 - 在线数据迁徙同步
- mysql- 到 -elasticsearch- 实时同步构建数据检索服务的选型与思考
- 构建基于 kafka 直达的混合云在线数据生态 -cloudcanal 实战
- mysql 到 clickhouse 实时同步 -cloudcanal 实战
社区快讯
-
咱们创立 CloudCanal 微信粉丝群啦，在外面，你能够失去最新版本公布信息和资源链接，你能看到其余用户一手评测、应用状况，你更能失去激情的问题解答，当然你还能够给咱们提需要和问题。快快退出吧。
- 增加咱们小助手微信 suhuayue001 拉您进群，接头语(“CloudCanal yyds”)
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/