关于数据库:使用Tapdata一步搞定关系型数据库到MongoDB的战略迁移

9次阅读

共计 2230 个字符,预计需要花费 6 分钟才能阅读完成。

摘要:数据库作为最要害的基础设施,随着互联网时代的信息高速增长,关系型数据库因其高门槛、高老本以及扩展性差等起因导致的局限性逐步浮出水面,现在更是面临诸多问题和挑战,Tapdata 专一新一代实时数据处理技术,为企业提供与古代软件架构相结合的数据服务解决方案(Tapdata 实时数据服务平台)。

数据库作为最要害的基础设施,浸透技术畛域的方方面面。随着互联网时代的信息高速增长,关系型数据库因其高门槛、高老本以及扩展性差等起因导致的局限性逐步浮出水面,现在更是面临诸多问题和挑战,在这一大环境下,NoSQL 的进一步倒退已成必由之势。面对现状,有的企业抉择在关系型数据库畛域寻求冲破,大胆尝试以发明时机。也有用户抉择了数据库迁徙这一策略,然这一过程也将面临颇多难题。

以 MongoDB 为例,NoSQL 比照关系型数据库,各自优缺点及实用场景

Oracle、SQLServer、MySQL 诸如此类的关系型数据库的劣势就是他们应用的 SQL 查问语句性能十分弱小,表达力很丰盛。无论多简单的问题,基本上都可能用一个或几个 SQL 语句实现。关系型数据库的 ACID 事务性,尽管各个数据库反对力度不同,然而总体来说都有不错的能力和应用程序服务器配合为程序员提供较好的事务模型,保障数据库内数据及规定的一致性。

而以 MongoDB 领头的 NoSQL 数据库营垒中,则以动态数据模式和横向扩大能力为主打利器,是针对于古代的数据问题提出的解决方案。动静或者可变模式是解决新一代多变多态数据的最重要能力,否则技术团队将失陷于无休止的关系型模式设计、迭代、数据迁徙的繁琐工作中。横向扩大能力则是从 MySQL 集群迁徙到 MongoDB 的次要诱因:MongoDB 的分片技术,借助于数据绝对独立,容易散布的 JSON 文档模型,在解决海量数据能力上具备更牢靠的的程度扩大能力和易管理性。

从技术利用场景来说,MongoDB 特地适宜数据量较大(亿级以上)、数据结构复杂多变,以及绝大部分的古代 Mobile 和 Web 利用。对应用 Microservices 架构的,能够大胆思考 MongoDB,因为在微服务架构下对强事务的需要绝对会少很多。

MongoDB 常见的企业应用设计模式或应用场景,DaaS 这一利用模式正在受热捧

MongoDB 常见的企业级利用模式有几种,如 DaaS、Single View、ODS、Mainframe Offloading 等。其实这几种都是 CQRS 设计模式中的某种体现。在这里,DaaS(Data as a Service) 就像 SaaS 模式一样,把数据作为一种性能来提供给客户端,也即应用程序。这些数据通过 API 的形式让应用程序能够实现所有数据的需要,无论是简略 CRUD(通过 REST)还是传统的报表剖析(SQL 或 Big Data API),或是基于事件的 Messaging。

这里最要害的中间层:persistence。咱们这里须要一个有微小横向扩大能力,同时又有毫秒级响应能力的联机交易数据库,才能够把咱们的数据即服务架构搭起来。苏格兰皇家银行 RBS 早就开始 DaaS 的钻研,然而最近才找到适合的存储平台——MongoDB 来进行他们的 IT 变革。他们打算把一万多 SQLserver,数千台 Coherence,数百个 Oracle 的简单数据平台逐步过渡到以数据即服务的一个平台,利用新一代数据库的海量解决能力和模式的灵活性,进行大规模的整合去重。目前曾经迁徙了十多个利用、数十个关系型数据库到新的平台。

整个数据库市场将来发展趋势以及潜在挑战

数据库市场是软件行业中最大的市场,因为没有哪一个利用场景能够离得开它。Oracle(数据库)的倒退早就曾经停滞并在萎缩。寰球各大企业的 CIO 都在企业数字化的过程中积极探索新一代的数据解决方案。NoSQL 数据库因为其对非结构化、半结构化数据的反对,以及高并发、海量数据的横向扩大能力反对,曾经被行业所认可并成为古代数据库布局不可短少的一个局部。很多大型企业,相似于巴克莱、花旗、汇丰,甚至于寰球最大最闻名的手机公司都在建设基于 MongoDB 的新一代数据库,用于补救传统数据库的有余。

如何把数据从关系型数据库里迁徙到 MongoDB 里来。常见的迁徙工具如 Informatica、GoldenGate 等并不能对 MongoDB 很好反对。钛铂数据基于对行业需要的敏感,推出了一个实时的关系型到 MongoDB 的同步兼模型转换工具 Tapdata Replicator。

Tapdata Replicator 包含任务调度设计、监控、告警,模式匹配,故障主动转移、日志治理、断点续传,同步验证等性能。可能从各种数据库,比方 Oracle、MySQL、SQLSever、DB2 等;不同的流数据,比方 Kafka、MQTT、Log、Socket 等;不同的文件,比方 Excel、CSV、XML、Binary 等中采集数据。

进一步理解 Tapdata 实时数据服平台 Tapdata 实时数据服务平台,更多技术文章可返回 Tapdata 技术博客。Tapdata 自研的异构数据库实时同步工具—— Tapdata Cloud,现已收费凋谢给技术开发者应用,目前反对 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch、达梦、Kafka 等支流库之间的数据迁徙和同步,行将反对 DB2、Sybase ASE、Redis、GBase、GaussDB 等。

本文为 Tapdata 原创技术文章,原文地址。

正文完
 0