OceanBase 数据迁徙工具（OceanBase Migration Service，OMS）是 OceanBase 数据库一站式数据传输和同步的产品。它反对多种关系型数据库（如 Oracle、DB2 LUW、MySQL 等）、音讯队列与 OceanBase 数据库之间的数据复制，是集数据迁徙、实时数据同步和增量数据订阅于一体的数据传输服务，OMS 能够帮忙用户低危险、低成本、高效率地实现 OceanBase 的数据流通，助力构建平安、稳固、高效的数据复制架构。
OMS 能够为用户提供数据传输的全生命周期治理，反对语法转换、数据转换、工作治理等性能，并提供迁徙评估、数据迁徙、数据订阅、数据校验等产品状态，辅以可视化，所见即所得的 Web 管控平台，轻松实现数据传输我的项目的创立、工作配置、传输组件的监控运维、链路保护和故障诊断等便捷的操作，并提供多种爱护级别反对定制化配置和实时的我的项目监控报警。
咱们心愿将 OMS 打造成为平安、稳固、易用的数据传输平台，并基于用户理论业务场景的需要进行继续迭代。通过在多行业上百家企业用户理论业务场景的锻炼和验证，OMS 曾经逐步成长为功能强大、稳固高效、平安的数据传输服务平台。用户能够灵便抉择适合的迁徙、同步类型和性能，反对组合成不同的解决方案。同时提供多样性的部署模式及灵便的横向和纵向扩大、膨胀能力，保障满足提早敏感用户的业务需要。
OMS 3.4.0 带来易用性和安全性的双重晋升，在易用性方面提供对各类迁徙信息的继续监控能力，帮忙用户疾速定位数据迁徙中呈现的各类问题，同时为用户迁徙过程中退出新表的场景，上线了动静增减表性能。此外，OMS 3.4.0 现已反对预查看跳过性能，带来更晦涩的迁徙体验。在安全性上，该版本正式推出验证码机制、操作审计等能力。本篇内容将给大家带来具体介绍。
继续性能剖析，定位问题更疾速
在理论业务场景中，数据迁徙工具连贯着两个动态变化的数据终端，数据源端和指标端任何一端的变更、异样，或者资源瓶颈，都有可能对同步链路的状态和性能造成不小的影响，用户须要破费很高的老本，能力精确地分析判断出触发迁徙性能问题的根因。
OMS 过往版本在解决性能相干问题时，用户须要通过登入 Docker 外部查看日志文件或者寻求技术支持能力解决。而从 3.4.0 版本开始，OMS 在全量迁徙、增量同步、全量校验及反向增量阶段，可提供对 RPS、流量、SQL 执行工夫及 SQL 提交工夫等性能信息的继续剖析。用户可对照经验值（表 1），疾速定位性能问题。并根据源端和指标端的理论运行状况，灵便调整 OMS 并发数，JVM 内存 (查看组件监控 -> 更新) 等或调整源端、指标端的数据库参数或者操作系统参数，疾速高效地实现数据库迁徙、同步工作。
图 1：全量迁徙性能
图 2：增量同步、反向增量性能
图 3：全量校验性能
| 指标 | 迁徙、同步类型 |
|---|---|
| 枯燥记录读取超过 5 ms | 全量迁徙，全量校验 |
| 单条记录插入超过 5 ms | 全量迁徙，全量同步 |
| SQL 提交工夫超过 100 ms (次要指 OceanBase 数据库) | 全量迁徙，全量同步 |
| 单个并发 RPS 小于 800 (当数据库压力大于本值时) | 增量同步，反向增量 |
| 单个并发 RPS 小于 1000 (当数据库压力大于本值时) | 全量迁徙，全量校验 |
经验值（供参考）
表 1: 性能异样排查经验值
反对动静增减表，链路运维更轻松
迁徙过程中也能增减表
在一些耗时较长的同步过程中，面对业务变动或解决异样表的状况，用户通常须要更新同步对象列表。OMS 过往版本对于减表操作，须要用户更新 OMS 内对应数据链路组件配置，并重启对应组件，对于加表操作，须要用户新建一个迁徙或者同步我的项目，上述做法不仅节约了硬件资源，也会给用户进行多项目管理保护时带来不便。
OMS 3.4.0 推出全新能力：在链路运行中反对动静加减表。从用户理论业务场景登程，OMS 实现了一体化的加减表流程，即便原迁徙、同步我的项目曾经运行到增量同步阶段，在我的项目中新减少的表也反对从表构造同步开始，做对象构造、全量数据以及增量数据的同步，同时在全流程提供移除对象的能力。通过最大水平地简化用户操作，OMS 将为用户提供更简略易用的体验。
图 4
一键跳过执行失败的 DDL 语句
在 DDL 同步的场景中，用户可能会遇到因各种问题造成 DDL 语句无奈失常同步至指标端的状况，如源端和指标端 DDL 语句不兼容、DDL 语句无奈在指标端无奈执行等。OMS 为了保障源端、指标端的一致性会将链路置于失败状态。在过往版本中，用户须要通过设置相干参数能力复原链路。
从 3.4.0 版本开始，OMS 正式提供跳过性能，防止用户繁琐操作，助力用户轻松解决各类链路故障，保障链路继续稳固运行。
图 5
全方位增量同步数据统计
在链路运行过程中，用户须要把握有多少条 DML/DDL 语句被同步至指标端，及相应表对象数据变动状况，从而对指标端进行适度调整。
OMS 3.4.0 提供投递到指标端 DDL/DML 语句的数据统计能力，能够帮忙用户实时监控链路理论运行状态。同时 OMS 提供链路内表变更记录 Top 50 的性能，用户能够轻松辨认链路内的热点表，从而提前布局指标端对象容量或通过加减表能力调整链路布局，保障全链路的稳定性。
图 6
更灵便的对象抉择和设置
对于许多可视化产品来说，如何解决百级、千级对象的抉择以及设置都是一个大难题。而在数据库畛域中，不少用户的理论业务场景会呈现万级、甚至十万级的数据库对象，因而为数众多的用户依然保持以黑屏脚本化的形式进行数据处理工作。同时在局部用户业务场景中，用户须要对库、表名称进行重命名，或者对于有效记录或者历史记录进行数据过滤操作等。
OMS 3.4.0 除了提供除穿梭框和类黑屏，还新增反对 CSV 格局导入对象和下载对象设置性能。它将帮忙用户轻松应答万级数据库对象的抉择与设置，并通过导入导出的能力，快捷实现测试环境到生产环境等跨环境迁徙的能力，省去用户繁琐的配置工作。
灵活处理，打造更通顺的割接体验
预查看现已提供跳过性能
OMS 在预查看环节会查看数据库用户的读写权限、数据库的网络连接等是否符合要求。如果局部预查看我的项目不通过，则可能造成后续我的项目运行异样的问题。但在局部 POC 场景中，某些查看项如外键查看实质是能够疏忽的，不会影响最终后果。OMS 过往版本对于如何解决跳过预查看，须要用户进行查问产品文档、变更 JSON 格局零碎参数等较为繁琐的操作。
OMS 3.4.0 正式推出跳过性能，在用户确保跳过相干预查看我的项目不影响链路运行的前提下，给予用户充沛的自主性。同时，OMS 3.4.0 将提供规范的错误码，对预查看失败的场景提供修复疏导或倡议，帮助用户疾速修改问题，保障链路的疾速创立和后续的晦涩安稳运行。
正向切换提供更多跳过能力
正向切换是 OMS 配合利用切流期间执行的工作流，是传统意义上的零碎割接流程的抽象化、标准化。在执行正向切换期间，在 OMS 过往版本中，局部查看步骤为阻塞项，例如：确认同步追平停写位点，在源端长时间无业务变更的状况下，延迟时间会超过 OMS 外部设置的阈值（1 分钟）。
OMS 3.4.0 对可能阻塞流程的查看我的项目提供跳过性能，从而确保用户能够灵活处理某些非凡状况。同时 OMS 也从顶层设计上整体优化各工作的执行工夫，保障正向切换流程的晦涩度。
图 7
推出三大平安性能，数据迁徙更释怀
OMS 始终保持信息安全是产品的底线、红线，被动发现问题并制订相应的对策予以解决。在 OMS 3.4.0 中，咱们也对安全性进行了降级，推出验证码机制、操作审计、白屏化明码参数三大性能，让用户的数据迁徙更释怀。
拦挡歹意行为的验证码机制
验证码作为一种人机辨认伎俩，其次要作用是辨别正常人和机器的操作，拦挡歹意行为。OMS 3.4.0 现已提供 gif 动画验证码，能够无效避免机器假冒人类做暴力破解及歹意登录等，爱护系统安全。
图 8
保障信息安全的操作审计机制
操作审计可帮忙用户监控并记录 OMS 的全副账号流动，蕴含对于 OMS 控制台的拜访和应用行为。用户能够将这些行为事件进行行为剖析、平安剖析、我的项目变更行为追踪和行为合规性审计等操作，更好地保障数据安全。
图 9
打消安全隐患的白屏化明码参数
OceanBase 数据源新增如图 10 所示的高级选项, 次要作用是 OMS 获取 OceanBase 数据库的增量日志数据。在过往版本中，用户名 / 明码被保留于 OMS 装置部署应用的配置文件内，这可能存在肯定的安全隐患。
OMS 3.4.0 通过新增 OceanBase 数据源的高级选项，不仅解耦了多 OceanBase 集群、OCP 与 OMS 之间的依赖关系，更晋升了产品的安全性。
图 10
优化数据传输流程，解决性能更强劲
通常而言，数据迁徙受源端和指标端的数据库性能、服务器性能、数据量、数据库对象类型及和交易类型等因素影响。作为一款通用型的数据传输产品，OMS 给予了用户极大的灵活性，用户能够根据理论业务状况，灵便设置参数（如 JVM，并发数），配置性能（如热点合并、数据校验模式和索引后置等）以达到最优性能。
OMS 3.4.0 通过深度优化流程调度、批量解决，提供反对索引后置创立和分区导入的能力。在用户的理论业务场景中，全量数据迁徙速度实现可高达 38 万 RPS (10 TB/ 天)。同时，OMS 3.4.0 通过优化解析工作模式、复制抵触矩阵及并行处理，以及反对热点行合并性能，实现增量日志解析速度高达 5T/ 天，增量数据同步速度高达 10 万 RPS。此外，OMS 3.4.0 通过优化分片逻辑、并行处理算法和比对算法，数据校验可达 66 万 RPS。可能轻松应答严苛的外部环境要求，并提供稳固的秒级数据传输能力。
写在最初
本次公布的 OMS 3.4.0 版本在性能、性能、稳固及平安上带来了重要降级，并着重晋升了产品的易用性，提供诸如数据库账号权限、如何创立我的项目及性能提醒疏导等，能够帮忙用户轻松创立、保护数据迁徙、同步我的项目，晋升用户工作效率，助力用户实现业务价值。
咱们心愿将 OMS 打造成为顶级的一站式数据传输平台，在每次版本迭代中解决用户场景中实实在在的痛点问题。同时，欢送大家体验全新的 OMS，给咱们提出宝贵意见，一起打造更简略好用的数据库迁徙工具。
若您对 OceanBase 的相干生态工具感兴趣，也能够进一步参加 OceanBase 第五届技术征文大赛《更易用的 OceanBase|生态工具征文大赛正式开启！》。