简述

Db2 是一款具备悠久历史的关系型数据库，由 IBM 公司开发和保护，广泛应用于金融级业务场景。

CloudCanal 近期提供了 Db2 为源端的数据迁徙同步 性能，用户能够便当地将 Db2 中数据实时同步到其余数据库，实现数据更宽泛、更实时的利用。

性能介绍

指标数据库和能力

指标端数据源构造迁徙数据初始化增量同步数据校验数据勘误
MySQL反对反对反对反对反对
TiDB反对反对反对反对反对
Kafka-反对反对--
StarRocks反对反对反对反对反对

Db2 源端特色能力

基于 CDC 技术的数据同步

Db2 源端同步能力是基于 SQL 复制的 ASN 捕捉代理，CloudCanal 通过捕捉 Db2 CDC 表中的增量数据来实现数据同步。

Db2 源端进行增量数据同步时，CDC 元信息表的保护过程会被自动化治理，无需用户手动操作。

同时，CloudCanal 会周期性地清理曾经同步到指标端的 CDC 记录，以防止 CDC 表的有限增长，从而保障同步数据的准确性和零碎的稳定性。

构造迁徙类型主动解决

不同数据库对于数据类型反对存在差别，CloudCanal 构造迁徙时会进行类型主动转换。

Db2 为源端的构造迁徙也存在相似转换(5+，并一直细化)，如对端为 MySQL 或 TiDB，CloudCanal 将主动转换 VARCHAR FOR BIT DATA 为 VARBINARY。

数据初始化反对断点续传

Db2 为源端的数据初始化，反对字符或数字类型主键表的断点续传性能。

对于亿级别数据量的大表，此能力不可或缺，数据初始化断点续传性能让此种暂停尽可能少的影响进度。

数据同步反对断点续传

长周期的数据同步工作，暂停工作调整参数、修复问题数据、优化性能等状况很难防止，断点续传让这些保护操作变成可能。

CloudCanal 定时或定量保留提交后的位点(LSN，log sequence number)，确保增量同步工作重启后可持续，并且不失落数据。

配套数据校验与勘误能力

在数据同步过程中，因为数据的内部关联性、构造束缚差别、数据库运维操作、软件bug等状况，两端数据可能会不统一，此时数据校验和勘误性能十分必要。

CloudCanal 为 Db2 为源端的数据同步能力额定提供了数据校验和数据勘误性能，疾速确定不统一数据范畴，并针对差别数据进行修复。

产品化能力撑持

可视化创立

CloudCanal 创立 Db2 数据迁徙同步工作是齐全可视化的，通过获取数据库元数据，让用户在 web 页面上决定哪些库、表、列进行迁徙同步，或者设定过滤条件、自定义数据处理逻辑等。

自动化流程

Db2 数据迁徙同步工作创立后，CloudCanal 将主动流转各个阶段的工作，用户无需干预，中转数据实时同步状态。

监控图表撑持

CloudCanal 为 Db2 数据迁徙同步工作提供了多个实用监控指标，包含增量缓存RPS、增量缓存提早(ms)、内存队列数据个数等，当调优工作性能或排查工作异样起因时，监控指标提供了很好的判断根据。

告警反对

CloudCanal 为 Db2 数据迁徙工作提供了包含钉钉/企业微信/飞书/自定义等 webhook 类型告警，对于企业级客户，可额定抉择邮件，以及短信告警，实时保障同步工作的高可用。

简略示例

本示例以将数据从 Db2 数据库同步到 MySQL 数据库为操作案例，以便更好地阐明 CloudCanal 在不同数据库之间进行数据同步的能力。

筹备动作

  • 筹备 CloudCanal，装置具体请参考：全新装置
  • 筹备好 Db2 数据库（本例应用 11.5 版本）和 MySQL 数据库（本例应用 8.0 版本）
  • 登录 CloudCanal 平台 ，增加 Db2 和 MySQL
  • Db2 源端如果须要增量同步须要开启 CDC，具体请参考：Db2 源端 CDC 同步筹备

工作创立

  • 工作治理 -> 新建工作
  • 测试链接并抉择 源 和 指标 数据库
  • 点击下一步
  • 抉择 数据同步，并勾选 全量数据初始化，其余选项默认
  • 抉择须要迁徙同步的表和列

  • 确认创立工作
  • 工作主动做构造迁徙、全量迁徙、增量同步
  • 增量阶段进行数据写入后，进行数据校验，数据校验通过

总结

本文次要介绍了 CloudCanal 反对 Db2 为源端数据迁徙同步性能，通过这个能力，用户能够便当地将 Db2 中数据实时同步到其余数据库，实现数据更宽泛、更实时的利用。