作为一种 Schema Free 文档数据库,MongoDB 因其灵便的数据模型,撑持业务疾速迭代研发,广受开发者欢送并被宽泛应用。在企业应用 MongoDB 承载利用的过程中,会因为业务上云 / 跨云 / 下云 / 跨机房迁徙 / 跨地区迁徙、或数据库版本升级、数据库整合、数据库拆分、容灾等业务场景,存在 MongoDB 迁徙或同步的业务诉求。
在 MongoDB 迁徙的过程中,其迁徙工夫、迁徙数据准确性及迁徙过程中业务的停机要求无疑是影响迁徙是否胜利的关键因素。由此,如何抉择适合的迁徙工具,提供高效、平安、精确的迁徙能力至关重要。
01 传统数据迁徙计划
传统的 MongoDB 迁徙个别基于 mongodump 及 mongorestore 等导入导出工具进行数据搬迁,应用这种搬迁工具个别存在如下问题:
- 停机工夫长,因为 mongodump/mongorestore 不反对增量数据的采集复制,在 MongoDB 迁徙期间,要求业务停机,停服工夫通常高达数小时 / 入地,对业务的挑战极大。特地当迁徙难度较高时,通常重复屡次迁徙,业务停服工夫更不可控。
- 可靠性不高,不提供迁徙过程的观测、诊断与修复能力,迁徙过程中呈现谬误个别须要从新迁徙,迁徙难度较高。
- 数据准确性难保障,此类工具因不提供对应的品质检测能力,所以迁徙的数据品质个别难以保障。
- 大数据量迁徙挑战,因其容灾能力有余,不能很好撑持大数据量、大表的迁徙。
02 NineData 数据迁徙计划
为解决用户面临的 MongoDB 迁徙问题,玖章算术旗下的云原生智能数据管理平台 NineData 推出了 MongoDB 业务不停服数据迁徙能力。NineData 实现了齐全自动化的全量数据迁徙,以及增量数据的采集复制能力。其中,增量数据迁徙能力,可能在构造迁徙及全量数据迁徙期间,实时监听采集源 MongoDB 数据变更产生的 oplog,并在实现全量迁徙后,将变更数据实时复制到指标 MongoDB,实现源 / 指标 MongoDB 的动静复制。基于变更数据迁徙能力,在 MongoDB 数据迁徙过程中,业务能够失常提供服务,无需停服。最终,业务可依据须要抉择对应工夫点切换到指标 MongoDB,具体流程如下图。
除了提供业务不停服的迁徙能力外,NineData 提供的 MongoDB 还具备如下能力:
▶︎ 大数据量或大表的迁徙能力
基于智能分片、动静攒批、并发迁徙、表级断点续传等多种技术能力,提供强劲迁徙能力。
▶︎ 数据一致性比照
NineData 提供了 MongoDB 的数据比照能力,可能进行高效的一致性比照,疾速辨认差别数据,并提供对应的勘误脚本,疾速勘误修复差别内容,无效保障迁徙数据品质。
▶︎ 可观测可干涉能力
NineData 提供具体的迁徙状态、停顿及详情信息,当呈现迁徙异样时,会提供多种诊断修复能力,帮忙您保障工作稳定性。同时,提供迁徙限流能力,您可依据业务须要,自定义迁徙速度,保障 MongoDB 的稳定性。
03 一分钟启动全自动化迁徙
尽管提供了比拟弱小的 MongoDB 迁徙能力,然而 NineData 应用起来非常简单,只须要花 1 分钟工夫实现工作配置,即能够齐全自动化实现数据的迁徙及同步过程。上面咱们来看下整个工作的配置过程:
3.1 配置复制工作
基于上述操作,实现复制数据源、复制对象及复制类型的抉择后,即可疾速启动 MongoDB 的全自动化迁徙。当实现工作启动后,NineData 会主动进行全量数据迁徙及增量数据复制。
当数据迁徙实现后,也能够配置对应的数据比照进行数据一致性的校验,疾速发现、定位并修复差别数据。上面会对方才迁徙的 mongodb 数据进行数据一致性校验。
3.2 全量数据比照
如视频所示,针对方才迁徙的 MongoDB 数据能够通过配置运行数据比照工作,进行精准、残缺的数据比照。数据比照过程中,NineData 会对每个 Document 的内容进行精准比照,并疾速发现差别内容,并针对性提供勘误脚本。
至此,当数据迁徙实现、数据校验及业务验证通过后,业务能够抉择一个低峰期进行 MongoDB 的停机切换,切换到新的数据库,至此实现整个迁徙过程。
04 写在最初
当然,除了 MongoDB 迁徙外,NineData 反对 MongoDB 实例间的长期复制,可利用于数据容灾、读写拆散、测试数据构建等业务场景。同时,NineData 也已反对数十种常见数据库的迁徙复制。NineData 提供即开即用的 SAAS 模式,及企业专属集群模式,满足企业最高的数据安全合规要求。以后,NineData 已在运营商、金融、制造业、地产、电商等多个行业实现大规模利用实际。如果您感兴趣的话,能够登录官网 https://www.ninedata.cloud/dbmigration,立刻开始收费应用。