在云计算、大数据和物联网时代,数字化转型悄悄在各行各业中进行。然而数据作为最根底的因素,如何进行多源异构的海量数据交换?如何保证数据的时效性和准确性?如何让海量异构数据实现云上、云下的协同?是咱们长此以往关注的焦点。而 ZMP 数据迁徙平台正致力于云间数据交换场景,反对不同数据结构,可帮忙政企客户疾速搭建高性能、高平安、高牢靠、高稳固的数据交换平台。
1. 性能
ZMP 数据迁徙平台不仅有根底的零碎、用户和主题治理,也有可视化运维的服务器治理及音讯监控等,更次要的是集成了音讯服务、数据转换同步等中间件,同时退出了迁徙评估和利用的智能革新。
服务器治理:提供服务器、音讯服务、同步组件的装置、启停、配置和监控等性能。
主题治理:提供音讯服务主题的创立、删除、编辑和监控,在数据交换中,不须要用户创立和删除主题,由数据交换工作对立治理。
数据迁徙评估:提供源库数据库(Oracle9i,Oracle11g,Oracle12c,SQLserver)的数据采集,画像及目标端数据库为云溪数据库或 MySQL 时的兼容性评估。
数据采集:针对多个 Oracle 版本和 SQLServer,构建了数据采集工具。
源库画像:依据采集的数据,主动生成智能五边图(规模,会话,危险,负载,复杂度),数据库的概要信息与详细信息——包含数据库性能及运行时的性能,容量,Oracle 个性,对象详情、全景搜寻等。用户能够直观地把握以上信息,并在详情页查看具体的信息。同时,在不同对象的依赖关系里,还能够实现跳转,帮忙了解数据库原有构造。
兼容评估:将源库所有对象与 SQL 语句进行解析,判断其与指标库(之间的兼容状况,并输入其统计后果。在评估详情中看到每一个对象的兼容状况及迁徙危险等状况。
数据交换:提供作业、工作、数据源和同步表的创立、删除、编辑、监控和统计报表性能。
反对结构化数据交换:云溪数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu 等。
反对非结构化数据交换:Linux/Windows 文件、FTP、SFTP、OSS、HDFS 各种款式,各种大小的数据交换。
反对半结构化数据交换:JSON、CSV 等半结构化数据与数据库替换。
反对多协定数据采集:MQTT、COAP、MODBUS、XPH、DICOM、HTTP、RTSP、RTMP 等。
智能革新:加载源代码(工程)文件夹,对其中文件进行嗅探,寻找其中的 SQL 语句,并进行统计、剖析、革新,并对革新状况进行统计分析,并提供手动查看与革新等相干性能。
用户治理:提供用户的创立、删除、编辑、权限调配和审计等性能。
系统配置:提供控制台日志、零碎告警等性能。
版本治理:提供同步组件安装包更新、同步组件降级等性能。
2. 劣势
ZMP 数据迁徙平台在反对多种数据源的根底上,提供可视化拖拽形式进行流程编排。既大大降低了对源端的影响,又进步了同步效率。同时反对超大文件和各种网络数据传输。
同步效率高:每秒 10 万级记录以上同步量。
源端影响小:反对 Oracle、SQLserver、MySQL、MariaBD 和达梦日志增量同步,不须要依赖触发器、CDC、工夫戳。
多字段时间戳:反对多工夫戳、增量字段、反对工夫戳及增量字段向前偏移。
DDL 变更捕捉:反对数据库级别和表字段级别
数据管理监控:采纳可视化拖拽形式进行流程编排,可视化治理监控数据流向、数据统计、数据报表及相干正告。
反对结构化数据交换:云溪数据库、Oracle、SQLserver、DB2、Sybase、MySQL、PostgreSQL、Greenplum、Redis、Cache、Kudu 等。
超大文件和网络数据传输:反对简单环境下 TB 级别文件,反对中继路由、文件网闸、无限带宽等各种网络数据传输,反对断点续传。
国产化环境及中间件:反对 mips、x86、arm 等 CPU 架构和金蝶、中创等。
3. 架构
性能架构:
技术架构:
数据库替换架构:
文件替换架构:
4. 利用
各种类型数据、大数据平台和行业利用,通过 ZMP 数据迁徙平台实现高效的数据交换。医疗通信等行业产生的结构化、非结构化、文件等数据,通过 ZMP 平台抽取、转换、加密传输和入库,最大化实现数据的价值。同时云上云下数据协同。
跨网络、跨防火墙、跨中继路由、跨网闸等形式部署平台可应用多种不同的利用场景。异构采集对数据源影响小,实现数据高效采集,牢靠传输,反对海量音讯存储;数据交换反对单节点每秒百万级音讯解决,集群下反对每秒亿级音讯吞吐量,音讯容量可达 PB 级。