关于数据库:CloudCanal-落地-DB2-数据迁移同步功能

简述

Db2 是一款具备悠久历史的关系型数据库，由 IBM 公司开发和保护，广泛应用于金融级业务场景。

CloudCanal 近期提供了 Db2 为源端的数据迁徙同步 性能，用户能够便当地将 Db2 中数据实时同步到其余数据库，实现数据更宽泛、更实时的利用。

性能介绍

指标数据库和能力

Db2 源端特色能力

基于 CDC 技术的数据同步

Db2 源端同步能力是基于 SQL 复制的 ASN 捕捉代理，CloudCanal 通过捕捉 Db2 CDC 表中的增量数据来实现数据同步。

Db2 源端进行增量数据同步时，CDC 元信息表的保护过程会被 自动化治理，无需用户手动操作。

同时，CloudCanal 会 周期性地清理 曾经同步到指标端的 CDC 记录，以防止 CDC 表的有限增长，从而保障同步数据的准确性和零碎的稳定性。

构造迁徙类型主动解决

不同数据库对于数据类型反对存在差别，CloudCanal 构造迁徙时会进行 类型主动转换。

Db2 为源端的构造迁徙也存在相似转换(5+，并一直细化)，如对端为 MySQL 或 TiDB，CloudCanal 将主动转换 VARCHAR FOR BIT DATA 为 VARBINARY。

数据初始化反对断点续传

Db2 为源端的数据初始化，反对 字符或数字类型主键表 的断点续传性能。

对于亿级别数据量的大表，此能力不可或缺，数据初始化断点续传 性能让此种暂停尽可能少的影响进度。

数据同步反对断点续传

长周期的数据同步工作，暂停工作 调整参数 、 修复问题数据 、 优化性能 等状况很难防止，断点续传让这些保护操作变成可能。

CloudCanal 定时或定量保留提交后的位点(LSN，log sequence number)，确保增量同步工作重启后可持续，并且不失落数据。

配套数据校验与勘误能力

在数据同步过程中，因为数据的 内部关联性 、 构造束缚差别 、 数据库运维操作 、 软件 bug等状况，两端数据可能会不统一，此时数据校验和勘误性能十分必要。

CloudCanal 为 Db2 为源端的数据同步能力额定提供了 数据校验 和数据勘误 性能，疾速确定不统一数据范畴，并针对差别数据进行修复。

产品化能力撑持

可视化创立

CloudCanal 创立 Db2 数据迁徙同步工作是齐全可视化的，通过 获取数据库元数据 ，让用户 在 web 页面上决定哪些库、表、列进行迁徙同步 ，或者设定 过滤条件 、 自定义数据处理逻辑 等。

自动化流程

Db2 数据迁徙同步工作创立后，CloudCanal 将 主动流转 各个阶段的工作，用户无需干预，中转数据实时同步状态。

监控图表撑持

CloudCanal 为 Db2 数据迁徙同步工作提供了多个实用监控指标，包含 增量缓存 RPS、增量缓存提早 (ms)、 内存队列数据个数 等，当调优工作性能或排查工作异样起因时，监控指标提供了很好的判断根据。

告警反对

CloudCanal 为 Db2 数据迁徙工作提供了包含 钉钉 / 企业微信 / 飞书 / 自定义 等 webhook 类型告警，对于企业级客户，可额定抉择 邮件 ，以及 短信告警，实时保障同步工作的高可用。

简略示例

本示例以将数据从 Db2 数据库同步到 MySQL 数据库为操作案例，以便更好地阐明 CloudCanal 在不同数据库之间进行数据同步的能力。

筹备动作

• 筹备 CloudCanal，装置具体请参考：全新装置
• 筹备好 Db2 数据库（本例应用 11.5 版本）和 MySQL 数据库（本例应用 8.0 版本）
• 登录 CloudCanal 平台，增加 Db2 和 MySQL
• Db2 源端如果须要增量同步须要开启 CDC，具体请参考：Db2 源端 CDC 同步筹备

工作创立

• 工作治理 -> 新建工作
• 测试链接并抉择 源 和 指标 数据库
• 点击下一步
• 抉择 数据同步，并勾选 全量数据初始化，其余选项默认
• 抉择须要迁徙同步的表和列
• 确认创立工作
• 工作主动做构造迁徙、全量迁徙、增量同步
• 增量阶段进行数据写入后，进行数据校验，数据校验通过

总结

本文次要介绍了 CloudCanal 反对 Db2 为源端数据迁徙同步性能，通过这个能力，用户能够便当地将 Db2 中数据实时同步到其余数据库，实现数据更宽泛、更实时的利用。