概述:
利用主从复制+GTID的个性实现异地数据同步与读写拆散。上面是实现细节与不同于惯例计划的个性。
实现背景
是为了将分属两个不同集群的实例,建设同步关系。备实例会主动抉择主实例中提早较小的备机建设同步,当该主实例备机产生故障时,会主动与另一个备机建设同步关系。DCN同步建设后,主实例可写,备实例只读。这可作为一种异地容灾计划,也可作为一种异地读写计划。
DCN技术分为两步:
第一局部:
在主机房一主两备中,master提交事务后,写入binlog,通过mysql主从复制协定,master机将binlog传输到任意slave机,而后slave机回放relaylog,最终实现主从复制。第二局部:如图1,主备机房实现建设DCN同步后,备机房的master机会从主机房中主备提早最小的slave机上的拉取binlog,随后回放binlog。
第二局部:
如果主机房以后曾经建设DCN同步的slave机器故障了,会主动与另一个备机建设同步关系如图2
主从同步的形式实现异地容灾计划比拟成熟,但仍须要解决一些外围问题。
- 因为存在“级联复制”的状况,那么如何筹备的计算提早?
- 如果实例须要进行扩容时,同步关系是否收到影响,作为异地读写拆散的场景,级联节点数据提早扩充如何解决?
针对上述问题:
1. 计算提早
a) 不采纳Seconds_Behind_Master的值作为提早根据,主机agent不停地向主机数据库写入带有以后工夫戳的记录,这些记录会同步到备机数据库中备机的agent依据数据库中最新的记录与机器以后工夫戳,就能够计算出实时延迟时间了,而后备机agent再将这些信息(包含实时提早与提早的主机信息)写入到zk中,告知其它模块,而这些信也息作为scheduler仲裁扩容的根据。
b) 如下图提早的计算过程,在扩容的同步数据步骤中M每写入一条工夫戳记录,指标实例中的所有节点都会同步到该条记录,而后上报到zk中,当scheduler发现所有节点的提早小于5秒,且delayip都是M(这点次要是避免异样)时,进入到下一个流程
2.实例进行扩容的时候,集群具备自动更新dcn同步关系的性能,并且在扩容过程中不须要人为染指,缩小了提早得影响。由程序染指,并分拆为三步:
a) 建设原实例与指标实例的同步关系
b) 检测指标实例与原实例之间的提早,当提早小于5S时,设置原实例只读,回绝掉新的写入
c) 检测指标实例与原实例之间的gtid,当gtid无差别时,断开原实例与指标实例之间的同步关系,并将Proxy路由切换到指标实例
d) 下图示意利用DCN进行集群扩容的流程:
i. MM示意主实例的主机,MS示意主实例备机,MSET示意主实例。SM示意备实例主机,SS示意备实例备机,SSET示意备实例。EMM示意主实例扩容的指标实例的主机,EMS示意主实例扩容的指标实例的备机,EMSET示意主实例扩容的指标实例。ESM示意备实例扩容的指标机器的主机,ESS示意备实例扩容的指标机器的备机,ESSET示意备实例扩容的指标实例
扩容流程:
(1)建设EMSET与MSET之间的扩容同步关系。
(2)检测到EMSET与MSET之间的提早小于5秒时,断开SSET与MSET之间的DCN同步关系。(提前断开是为了避免后续SSET的GTID的信息不被EMSET的GTID列表蕴含,这里的差别信息可能是MM节点与EMSET断开后新写入ZK的工夫戳记录)
(3)确认SSET与MSET之间的DCN同步关系断开后,设置MSET为隔离状态(此时网关会回绝掉所有新的连贯),并向EMM节点的agent发送扩容解决工作。
(4)当EMM节点的agent接管到scheduler发送的扩容解决后,设置MM节点只读,并计算EMM与MM节点gtid的差值,当gtid无差值时,反馈scheduler工作解决胜利。如果期间设置只读失败,反馈sheduler解决失败。
(5)Scheduler依据agent反馈进行辨别解决,反馈胜利进入步骤6,反馈失败进入步骤7。
(6)断开EMSET与MSET之间的扩容同步关系,返回扩容胜利,并建设EMSET与SSET之间的DCN同步关系。
(7)把MSET设置为失常状态(网关失常接管新连贯),返回扩容失败,并重建MSET与SSET之间的DCN关系。