共计 1901 个字符，预计需要花费 5 分钟才能阅读完成。
本文介绍了如何实现 mysql 同步数据到 Kafka 实现混合云在线数据同步
junyu-cloudcanal
简介
本文次要介绍如何应用 CloudCanal 疾速构建平安的混合云在线数据生态，齐全应用 CloudCanal SAAS 能力达成。
此计划具备以下几个特点
- 采纳 Kafka 做数据直达
- 双边数据库都不开公网端口
- 互联网数据通过 SSL 加密
- 数据进口通过用户名、明码验证，并设置 ip 白名单增强平安管控
例子中的云数据库、云音讯产品、自建数据库等都能够替换成本人以后环境的自建资源或各种云资源。
技术点
混合云数据生态次要的难点在于 网络安全 , 局部用户因为传输同步数据较多，也比拟在意 流量 资源损耗。
基于 CloudCanal 实现的计划，更加关注 网络安全 层面的问题，做到敏感资源 网络单向隔离 、 链接鉴权 、 传输加密。
下图简要示例了下 互联网模式 和 专线模式 数据高低云。
举个 ” 栗子 ”
本文案例次要演示 互联网模式 的跨云数据迁徙和同步, 具体场景是如何进行数据上云(自建机房数据库 -> 阿里云云数据库)，并且长期维持混合云数据体系。当然，雷同的计划也能够反过来应用，只是在数据源抉择外网内网有所区别。
装置 CloudCanal
- 筹备一个 ECS 和 自有机房虚拟机，并依照 ECS 装置客户端 和 自建机器装置客户端 文档别离装置。
筹备 Kafka
-
在阿里云 Kafka 购买页
购买相应的 Kafka , 验证能力可先购买按量实例
- 留神抉择 公网 /VPC 实例 ，并且抉择稍大的 公网流量
- 部署实例请抉择 2.x.x 版本，最大音讯大小 倡议调整稍大些(比方 4MB)
- 进入实例，创立 Consumer Group，并记下名称
子账号受权并增加数据源
- 依照 阿里云子账号筹备 文档，创立或者受权子账号，并 记住子账号 AK 和 SK , 请授予根本的数据库拜访权限
AliyunRDSFullAccess,AliyunKafkaFullAccess -
别离增加 云下自建数据库 、 阿里云 RDS for MySQL 和 阿里云 Kafka
- 增加阿里云资源时，请在 第二步抉择主动增加迁徙机器白名单
- Kafka 用户名明码能够在 阿里云 Kafka 实例详情页最底下平安配置处找到
- TLS 文件请从 阿里云 Kafka 根证书下载
开始造数据
- 源端数据库为云下自建数据库，IUD 20:60:20, 1~2 KB/ 条数据, 每个表 2~4 并发, 每个事务 2~4 条变更, RPS 1000 左右。
应用 CloudCanal 创立云下数据同步工作
-
抉择数据源，并抉择适合的选项
- 1 处请抉择 云下或自建 集群
- 2，3 源端自建数据库抉择 内网 ，对端 Kafka 抉择 公网
- 4 处能够抉择兼容 开源 Canal 音讯格局，或自带的 CloudCanal 音讯格局
- 抉择数据同步，并勾选初始化数据
- 抉择表，此处不要批改对端 topic，依照默认规定生成即可。
- 抉择列，能够 裁剪 掉一部分列不进行迁徙同步
-
创立确认
-
工作失常流转运行中
应用 CloudCanal 创立云上迁徙同步工作
-
抉择数据源，并抉择适合的选项
- 1 请抉择 ECS 上客户端所在集群
- 2，3 都抉择内网别离拜访 Kafka 和 RDS for MySQL
- 4 填写之前在 Aliyun Kafka 控制台创立的 Consumer Group
- 5 抉择和云下工作统一的音讯格局
- 两头略过表、列抉择，一路点击下一步即可
-
创立确认
-
两者工作失常运行中
-
云上生产工作创立 因为是在 云下工作运行 之后，所以须要将云上生产工作位点 回溯 到云下工作创立之前，以涵盖全副数据。
校验下数据
此次案例为了校验数据，咱们偷个懒，间接关上 RDS for MySQL 公网链接，用云下 CloudCanal 集群链接过去间接做一个数据校验（生产环境禁止！！！！）
- 为了让校验后果更加清晰，进行 造数据
- 申请 RDS for MySQL 公网地址，并批改 CloudCanal 数据源治理页面对应实例的公网地址
-
创立校验工作
- 1 抉择 云下或本地集群
- 2，3 源端自建 MySQL 抉择内网拜访，指标端 RDS for MySQL 抉择外网拜访
-
抉择工作类型为 数据校验
- 两头略过表、列抉择，一路点击即可
-
创立确认
-
工作运行结束，后果正确
总结
本文简要介绍如何应用 CloudCanal SAAS 能力疾速构建一条平安、跨互联网数据迁徙同步计划。
此计划有以下特点：
- 双边数据库都不开公网端口
- 互联网数据通过 SSL 加密
- 数据进口通过用户名、明码验证，并设置 ip 白名单增强平安管控
如果小伙伴们感觉这篇分享还不错，请转发、点赞、试用 (SAAS 或 下载社区版) 吧。
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利，请增加咱们小助手微信：suhuayue001
CloudCanal- 收费好用的企业级数据同步工具，欢送品鉴。
理解更多产品能够查看官方网站：http://www.clougence.com
CloudCanal 社区：https://www.askcug.com/