关于mysql:Tapdata-Cloud-场景通关系列-Oracle-→-MySQL-异构实时同步

38次阅读

共计 3127 个字符,预计需要花费 8 分钟才能阅读完成。

【前言】作为中国的“Fivetran/Airbyte”, Tapdata Cloud 自去年公布云版公测以来,吸引了近万名用户的注册应用。应社区用户上生产零碎的要求,Tapdata Cloud 3.0 将正式推出商业版服务,提供对生产零碎的 SLA 撑持。Tapdata 目前专一在实时数据同步和集成畛域,外围场景包含以下几大类:

  • 实时数据库同步,如 Oracle – Oracle, Oracle – MySQL, MySQL – MySQL 等
  • 数据入湖入仓,或者为古代数据平台供数,如:

    • 惯例 ETL 工作(建宽表,数据荡涤,脱敏等)
    • 为 Kafka/MQ/Bitsflow 供数或下推

具体场景则不可胜数,值此之际,咱们将以系列文章模式,为大家盘点 Tapdata Cloud 能够撑持的业务场景,以便大家更好地在业务中利用 Tapdata,本期为系列文章第一弹。(点击申请产品内测,领先体验 →)

以后,异构数据库数据实时同步的利用场景极为常见,一方面随着数据库技术的更新换代、国产化代替,以及数据利用场景的拓展,传统数据库难以满足需要,亟待进行数据迁徙与数据库降级;另一方面,历经几十年的数字化历程,企业数据孤岛越来越重大,将数据实时汇聚对立的需要也越发急切。

传统异构数据库同步的常见实现形式次要是:1、数据库厂商自身提供的迁徙 / 同步工具,像是 Oracle 的 OGG;2、通过开源工具和本人编写 SQL 构建数据链路。而 Tapdata 则在这些模式之外,自研了一套齐全脱离简单执行逻辑的极简计划,并反对低代码、可视化操作。

一、Tapdata Cloud:低代码可视化实现异构数据库数据实时同步

作为一款由 Tapdata 推出的异构数据库实时复制与同步 SaaS 服务,Tapdata Cloud 在产品能力上具备以下劣势:

  • 更宽泛的数据源反对:反对多种常见数据库和 SaaS 数据源,在 MongoDB、MySQL、Oracle、SQL Server、DB2、Elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB、Doris 等支流及新兴的开源或商业数据库之余,还在一直扩大对包含 Gbase 8s、OceanBase、Tablestore、Kylingence 等在内的国产数据库反对;
  • 更实时:基于日志的数据库 CDC 技术,0 入侵实时采集,毫秒级同步提早,助力平滑迁徙;
  • 低代码更高效:拖拽式的“零”代码配置操作,基于 JS 的低代码,轻松实现跨零碎跨类型的数据实时同步和解决;
  • 更灵便牢靠:基于云原生架构,更加弹性,更具平安保障性;
  • 更自主可控:纯国产自研,对国产数据库更敌对,高度适配国产化倒退需要。

二、操作演示:以 Oracle → MySQL 的数据同步工作为例

第一步:创立数据源 Oracle 连贯

【△ 查看操作详情视频】

第二步:创立数据指标 MySQL 连贯

【△ 查看操作详情视频】

第三步:开启数据复制工作

【△ 查看操作详情视频】

附录:操作注意事项

① 创立连贯:配置时要特地注意屏幕右侧的【连贯配置帮忙】,确保【先决条件】所列各项,均已在服务器上失去反对。

② 源节点设置:

  • 数据读取范畴可选【全表】和【自定义】:

    • 抉择全表时,可手动开启【动静新增表】,工作将会主动解决新增、删除表。
  • 抉择自定义时有两种形式,一是通过鼠标点击退出到抉择表中,二是通过粘贴表名的模式退出。
  • 【批量读取】条数为全量同步时,能够依据服务器的压力和带宽设置每一次读取的数据条数。
  • 【DDL 事件采集】开启后将会主动同步原表构造的变动,譬如新增批改字段、批改属性以及删除字段。

③ 指标节点的【高级设置】阐明:

  • 【反复解决策略】:当复制工作启动时,如果发现指标端曾经存在雷同表名的表时,是应用现有的表和数据还是删除重建
  • 【插入策略】:当源端插入了一条指标端曾经存在的数据时,是更新指标端还是疏忽该条数据
  • 【更新事件】:当源端批改了一条指标端没有的数据时,指标端是插入该数据还是疏忽该数据
  • 【删除事件】:当源端删除了指标端不存在的数据时该如何操作(*MySQL 目前只反对不存在时抛弃一个策略)
  • 【全量多线程写入】:这里默认为 8,能够依据服务器的性能抉择适合的线程
  • 【增量多线程写入】:默认为敞开,开启时可能会存在并发写入时的反复危险,须要依据数据库的理论状况进行抉择

④【工作设置】阐明:

可设置【同步类型】:当抉择【全量】时只进行一次性的复制;如果只抉择【增量】,则只会将工作启动后的变更同步到指标表。

⑤ 工作的【高级设置】阐明:

  • 【共享开掘】:若有多个工作须要从源库读取数据时,为升高源库压力,开启后会将增量日志存储到两头库中(* 留神:只有工作和源链接都开明时才无效)
  • 【数据校验】:开启后会对工作中所有的表数据进行校验,不统一时,能够在工作监控中查看。这里须要留神的是,当工作合乎以下三种状况时,即便开启工作也不会进行校验:a) 增加了两头解决节点;b) 源连贯不反对校验;c) 指标连贯不反对校验
  • 【增量同步并发写入】:能够全局管制所有指标节点是否能进行多线程写入。
  • 【增量滞后判断】:工夫可设置滞后工夫,超过该工夫才会触发增量滞后的统计。
  • 【处理器线程数】:为该代理做两头数据转换运算时应用的线程数量
  • 【增量数据处理模式】当设置为批量时,服务器性能压力较小;当设置为逐条时性能较差,但实时性更高。

⑥ 工作的保留和运行:

创立的工作都会被零碎保留下来,处于【编辑中】状态。能够间接点击右上方的【启动】按钮进行配置检测和工作启动;也能够只点击【保留】按钮,只检测工作配置。如果能够启动,工作会被置为【待启动】状态。(* 请留神定期清理编辑中的草稿工作)。

⑦ 画布的操作:

能够在画布上方点击撤销、重做或者删除节点、将内容居中、主动布局、框选、放大放大、查看工作日志以及对工作进行具体的设置。

小结:

如前演示,本参考示例实用于多种异构数据库数据实时同步场景。Tapdata Cloud 3.0 数据源反对:MySQL、MariaDB、PostgreSQL、Oracle、MongoDB、IBM DB2、SQL Server、ClickHouse、Kafka、ActiveMQ、RabbitMQ、RocketMQ 等;数据指标反对:ElasticSearch、Redis、Hive1、ClickHouse、Apache Doris、Kafka、ActiveMQ、RabbitMQ、RocketMQ、Gbase 8s、OceanBase、Tablestore、Kylingence、BigQuery 等,均可依照上述操作形式,执行并实现数据迁徙 / 实时同步工作。

三、限量内测报名中:Tapdata Cloud 3.0 抢鲜试用

全新降级的 Tapdata Cloud 3.0 领有更加全面的链路可观测性的可视化操作界面、加强的数据复制能力,以及数据开发 beta 等多重性能个性上新,现已凋谢内测报名通道:https://tapdata.net/tapdata-c…
内测权利

将您的利用场景在最新的 Tapdata Cloud 上失去验证,帮忙您解决切实的技术 / 业务痛点,您的内测反馈和贵重倡议,将第一工夫在 Tapdata Cloud 上失去实现。

  • 应用及技术支持:当您遇到应用问题或疑难时,将取得疾速响应和反对。
  • 专享订阅折扣:新版 Tapdata Cloud 将推出免费版本,用户可取得 SLA 级服务,保障生产应用的要求。内测用户将取得优惠订购特权。
  • 成为产品共创贡献者:您将成为 Tapdata Cloud 产品的共创贡献者,内测提出的性能需要及优化倡议,将有机会纳入产品路线图。

参加形式

Tapdata Cloud 3.0 已凋谢内测报名通道:https://tapdata.net/tapdata-c… ←戳这里即可参加

原文链接:https://tapdata.net/real-time…

正文完
 0