关于数据库:构建基于Kafka中转的混合云在线数据同步CloudCanal实战

42次阅读

共计 1901 个字符,预计需要花费 5 分钟才能阅读完成。

本文介绍了如何实现 mysql 同步数据到 Kafka 实现混合云在线数据同步

junyu-cloudcanal

简介

本文次要介绍如何应用 CloudCanal 疾速构建平安的混合云在线数据生态,齐全应用 CloudCanal SAAS 能力达成。

此计划具备以下几个特点

  • 采纳 Kafka 做数据直达
  • 双边数据库都不开公网端口
  • 互联网数据通过 SSL 加密
  • 数据进口通过用户名、明码验证,并设置 ip 白名单增强平安管控

例子中的云数据库、云音讯产品、自建数据库等都能够替换成本人以后环境的自建资源或各种云资源。

技术点

混合云数据生态次要的难点在于 网络安全 , 局部用户因为传输同步数据较多,也比拟在意 流量 资源损耗。

基于 CloudCanal 实现的计划,更加关注 网络安全 层面的问题,做到敏感资源 网络单向隔离 链接鉴权 传输加密

下图简要示例了下 互联网模式 专线模式 数据高低云。

举个 ” 栗子 ”

本文案例次要演示 互联网模式 的跨云数据迁徙和同步, 具体场景是如何进行数据上云(自建机房数据库 -> 阿里云云数据库),并且长期维持混合云数据体系。当然,雷同的计划也能够反过来应用,只是在数据源抉择外网内网有所区别。

装置 CloudCanal

  • 筹备一个 ECS 和 自有机房虚拟机,并依照 ECS 装置客户端 和 自建机器装置客户端 文档别离装置。

筹备 Kafka

  • 在阿里云 Kafka 购买页

    购买相应的 Kafka , 验证能力可先购买按量实例

    • 留神抉择 公网 /VPC 实例 ,并且抉择稍大的 公网流量
  • 部署实例请抉择 2.x.x 版本,最大音讯大小 倡议调整稍大些(比方 4MB)
  • 进入实例,创立 Consumer Group,并记下名称

子账号受权并增加数据源

  • 依照 阿里云子账号筹备 文档,创立或者受权子账号,并 记住子账号 AK 和 SK , 请授予根本的数据库拜访权限 AliyunRDSFullAccess,AliyunKafkaFullAccess
  • 别离增加 云下自建数据库 阿里云 RDS for MySQL阿里云 Kafka

    • 增加阿里云资源时,请在 第二步抉择主动增加迁徙机器白名单
    • Kafka 用户名明码能够在 阿里云 Kafka 实例详情页最底下平安配置处找到
    • TLS 文件请从 阿里云 Kafka 根证书下载

开始造数据

  • 源端数据库为云下自建数据库,IUD 20:60:20, 1~2 KB/ 条数据, 每个表 2~4 并发, 每个事务 2~4 条变更, RPS 1000 左右。

应用 CloudCanal 创立云下数据同步工作

  • 抉择数据源,并抉择适合的选项

    • 1 处请抉择 云下或自建 集群
    • 2,3 源端自建数据库抉择 内网 ,对端 Kafka 抉择 公网
    • 4 处能够抉择兼容 开源 Canal 音讯格局,或自带的 CloudCanal 音讯格局
  • 抉择数据同步,并勾选初始化数据
  • 抉择表,此处不要批改对端 topic,依照默认规定生成即可。
  • 抉择列,能够 裁剪 掉一部分列不进行迁徙同步
  • 创立确认

  • 工作失常流转运行中

应用 CloudCanal 创立云上迁徙同步工作

  • 抉择数据源,并抉择适合的选项

    • 1 请抉择 ECS 上客户端所在集群
    • 2,3 都抉择内网别离拜访 Kafka 和 RDS for MySQL
    • 4 填写之前在 Aliyun Kafka 控制台创立的 Consumer Group
    • 5 抉择和云下工作统一的音讯格局
  • 两头略过表、列抉择,一路点击下一步即可
  • 创立确认

  • 两者工作失常运行中

  • 云上生产工作创立 因为是在 云下工作运行 之后,所以须要将云上生产工作位点 回溯 到云下工作创立之前,以涵盖全副数据。

校验下数据

此次案例为了校验数据,咱们偷个懒,间接关上 RDS for MySQL 公网链接,用云下 CloudCanal 集群链接过去间接做一个数据校验(生产环境禁止!!!!)

  • 为了让校验后果更加清晰,进行 造数据
  • 申请 RDS for MySQL 公网地址,并批改 CloudCanal 数据源治理页面对应实例的公网地址
  • 创立校验工作

    • 1 抉择 云下或本地集群
    • 2,3 源端自建 MySQL 抉择内网拜访,指标端 RDS for MySQL 抉择外网拜访
  • 抉择工作类型为 数据校验

  • 两头略过表、列抉择,一路点击即可
  • 创立确认

  • 工作运行结束,后果正确

总结

本文简要介绍如何应用 CloudCanal SAAS 能力疾速构建一条平安、跨互联网数据迁徙同步计划。

此计划有以下特点:

  • 双边数据库都不开公网端口
  • 互联网数据通过 SSL 加密
  • 数据进口通过用户名、明码验证,并设置 ip 白名单增强平安管控

如果小伙伴们感觉这篇分享还不错,请转发、点赞、试用 (SAAS 或 下载社区版) 吧。
退出 CloudCanal 粉丝群把握一手音讯和获取更多福利,请增加咱们小助手微信:suhuayue001
CloudCanal- 收费好用的企业级数据同步工具,欢送品鉴。
理解更多产品能够查看官方网站:http://www.clougence.com
CloudCanal 社区:https://www.askcug.com/

正文完
 0