咱们建设一个数字化零碎可能会有跟别的零碎进行数据对接的须要，而他人的数字化零碎也有可能须要跟咱们的零碎进行数据对接，也可能咱们开发了不同的网站，网站小利用之间须要进行数据对接。那么数据对接应该如何操作呢？怎么能力更好地做好数据的同步？跨零碎数据一致性问题怎么解决？本文旨在总结积淀工作中问题的解决教训，通过对立的轻易云数据集成平台整顿解决跨零碎数据不统一问题的教训办法。
一、解决跨零碎间数据一致性的难题
提到数据一致性，咱们很容易想到的就是数据库中的事务操作。事务的原子性和持久性能够确保在一个事务内，操作多条数据，要么都胜利，要么都失败。这样在一个零碎外部，咱们能够很天然地应用数据库事务来保证数据一致性。然而在微服务的明天，一项操作会波及到跨多个零碎多个数据库的时候，用繁多的数据库事务就没方法解决了。另外常见的一种状况就是：存在依赖状况的零碎服务，例如业务端与用户端（业务端负责生产数据，用户端负责展现数据），须要数据同步来保障跨零碎服务的数据一致性，很多时候采纳何种数据同步形式，来保障数据利用的时效性至关重要。
做数据对接须要思考一个是单向数据对接还是双向的数据对接，如果是单向的数据对接咱们只须要思考去获取数据，也就是从指标数字化零碎或是其它数字化零碎从咱们数字化零碎上获取数据，咱们通过 API 进行获取或是传输数据给对方。如果是咱们数字化零碎上注册的会员数据须要同步给对方，对方那边注册的会员数据，批改的会员资料也须要同步过去，做到数据单方的实时更新，这个就是做数据的双向对接了。不仅咱们须要传输数据过来，对方也须要传输数据给咱们，不过这个不须要咱们提供 API 接口给对方，对方也提供 API 接口给咱们，只须要一方的 API 接口实现数据的获取跟传输就能够了。这种数据的双向对接会用在很多的平台上，咱们在进行对接的时候也要思考咱们须要的是数据的获取就能够，还是还须要把数据传送过来。如果是须要做到双向对接，而咱们只思考单向对接的话，数据就会呈现问题。比方对方那边注册的会员数据同步给咱们了，然而咱们这边注册的会员数据没同步过来，客户就无奈在对方数字化零碎上登录应用。
二、一致性的难题的剖析
为了可能更好的形容与了解数据一致性问题，通过一个案例来实战论述：
假如存在订单零碎与库存零碎，别离是金蝶云 ERP 与一款 WMS 零碎之间须要进行数据对接，在理论业务中订单的创立会随同着零碎仓库模块的库存缩小。两个零碎为别离部署，其利用数据也寄存在独立的数据库中，两个零碎间通过网络 API 接口进行通信。
如何做数据对接呢，这个次要是通过 API 进行的，也就是提供数据方编写接口文档，告知对接方应该通过哪一些的字段什么样的模式进行数据的获取。进行数字化零碎搭建数据对接时不仅仅要思考数据的获取，也要思考到数据的传输，具体要用什么样的模式要看单方对于数据的要求。如果是不仅须要获取也须要传输的，就要将这方面的数据对接思考上，不然对接之后，数据会呈现问题，这个是一个次要留神的点。其它的，只有是有 API 接口，对接就根本不会有什么问题。
2.1、数据集成平台 CAP 准则
CAP 之间自身就是处于互斥的，只能从这三者当选两个解决，对于 CA、AP、CP 都有它们本人的利用场景，要结合实际进行抉择。
- CA 因为不思考分区容忍度，所以它的所有操作须要在同一过程内实现（也就是咱们常说的单体利用）；
- AP 因为放弃数据一致性，适宜数据要求不高但强调用户体验的我的项目，如博客、新闻资讯等；
- CP 反之放弃了可用性，适宜数据要求很高的交易系统，如银行交易、电商的订单交易等，就算是用户长时间期待，也要保障数据的残缺牢靠。
CAP 准则在理论我的项目中的使用，对于互联网利用来说，如果为了用户体验齐全放弃数据一致性这也是不可取的，毕竟数据才是利用的基本。
数据集成平台须要如何解决 CAP 互斥性呢？
保障最终一致性的措施有很多，次要包含：分布式事务和 TCC 一致性计划。MySQL 其实有一个两阶段提交的分布式事务计划（MySQL XA），然而该计划存在重大的性能问题。
比方，一个数据库的事务与多个数据库之间的 XA 事务性能可能相差 10 倍。另外，在 XA 的事务处理过程中它会长期占用锁资源，所以一开始咱们并不思考这个计划。
三、高可用的零碎数据同步计划实际
问题形容：还是回到之前的数据集成案例场景，数据须要从金蝶云星空零碎同步到旺店通零碎。订单零碎同步到库存零碎中。
解决数据一致性罕用的三类数据同步计划：实时同步、定时同步、手动同步。数据集成平台设计外围个性：
• 实时数据集成 API 对立治理
• 可视化的配置工具
• 实现低代码集成计划
• 非入侵式
• 松耦合集成
• 不侵入现有业务零碎
• 麻利交付开箱即用
• 丰盛的场景化集成计划
采纳异步协程架构模式设计的数据集成平台，通过 Message Queue（MQ），音讯队列中间件。MQ 通过将音讯的发送和接管拆散来实现应用程序的异步和解偶，同时 MQ 屏蔽底层简单的通信协定，定义了一套应用层的、更加简略的通信协定。在业务零碎设计中，咱们经常会存在一个平台零碎 金蝶，它关联同步了许许多多的零碎的对接（零碎 聚水潭、泛微、MES 等）。利用 MQ 能够很好的解决零碎对接和数据同步问题，同时能够疏忽对接零碎的稳定性等诉求。
任务调度者
• 调度事件
• 生产工作
• 调度工作池 - 异步
AsynDispatcher –source
实例化适配器执行
• 生产工作
• 实例化集成利用 DataHub Instance
handleSourceDispatch()
• 依赖注入集成计划适配器
• 调度条件查看
• 执行适配器调度办法
• 联动其它计划调度工作 SourceEvent
适配器调度周期
• 初始化变量
• 依据元数据配置生成申请参数
• 向源队列存储器 写入工作 =>JobId
• 生产工作
• 计划工作队列池 - 异步
租户过程
实例化适配器执行
• 实例化集成利用 DataHub Instance
handleSourceJob()
• 依据工作 id 定位找到 mongodb 中对应的工作详情 JobId=>findSourceJob
• 执行适配器内 SDK
Adapter->SDK->invoke()
触发事件加工厂
• 事件加工厂 ScriptFactory::AfterSourceInvoke
适配器解决响应 -success
• 解决响应数据
handleResponse
• 判断 接口申请工作 胜利 / 失败
• 定位 Response 数据 Key
• 遍历数据对象，Mongodb 存储对象
• 标记工作状态 Finished
• 提供 InvokeRequest 进行分页查问工作
适配器解决工作谬误
• Throwable 异样收集器
• 标记工作状态 Error
• 工作重试机制 ReQueue()