数据复制

一个可能出错的事物和一个不可能出错的事物之间的次要区别是，当一个不可能出错的事物出错了，通常意味着不可修复

---------------Douglas Adams，《根本有害》(1992)

1.复制的目标

  • 高可用性：即便某台机器（或多台机器，或整个数据中心）呈现故障，零碎也能放弃失常运行。
  • 连贯断开与容错：容许应用程序在呈现网络中断时持续工作
  • 低提早：将数据搁置在间隔用户较近的中央，从而实现更快地交互
  • 可扩展性：采纳多正本读取，大幅提高零碎读操作的吞吐量

2.主从复制

2.1同步复制与异步复制

同步复制即数据从主节点写入，同步到从节点，等从节点也写胜利了才返回胜利，否则失败。长处：主从节点数据同步，不存在滞后问题。毛病：耗时长，当从节点数据量多的时候，很容易造成阻塞。

异步复制即数据从主节点写入，胜利则间接返回，而后采纳异步的形式比方mq写入从节点，不期待从节点写入后果。长处：耗时短。毛病：主从节点数据不统一，有可能造成数据失落，用户读取不同节点可能返回后果不同造成凌乱。

半同步复制即一台机器采纳同步复制，其余机器采纳异步复制的形式。长处：耗时较短，能够加强读性能。毛病：仍旧有可能造成数据失落等问题

2.2复制日志的实现

①基于语句的复制

主节点记录所执行的每个写申请并将该操作语句作为日志发送给从节点。长处：简略间接。毛病：一些函数比方获取工夫，有些语句之间有依赖关系，可能会呈现不统一。

②基于预写日志传输

所有对数据库写入的字节序列都被记入日志。长处：能够建设完全相同的正本。毛病：和存储引擎严密耦合

③基于行的逻辑日志复制

将复制与存储逻辑解耦，生成逻辑日志，相似mysql的binlog。可能与存储引擎解耦，并残缺的复制数据。

④基于触发器的复制

在应用层进行数据的复制。长处：更加的灵便多变，能够只复制局部数据，解决抵触等。毛病：须要业务自主实现。

2.3复制滞后问题

①写后读一致性

用户在写入数据能立刻读到最新的数据。

实现计划：

  • 如果用户拜访可能会被批改的内容，从主节点读取；否则，在从节点读取。
  • f避免大部分读取申请都走主节点，丢失读扩展性，跟踪最近更新的工夫，如果更新后一分钟之内，则总是在主节点读取。
  • 客户端还能够记住最近更新时的工夫戳，并附带在读申请中，据此信息，零碎能够确保对该用户提供读服务时都应该至多蕴含了该工夫戳的更新。
  • 如果正本散布在多数据中心，必须先把申请路由到主节点所在的数据中心。
②枯燥读一致性

如果某个用户顺次进行屡次读取，则他绝不会看到回滚景象，即在读取较新值之后又产生读旧值的状况。

实现计划：

  • 确保每个用户总是从固定的同一正本读取。
③前缀统一读

对于一系列依照某种程序产生的写申请，那么读取这些内容时也会依照过后写入的程序。

实现计划：

  • 确保任何具备因果程序关系的写入都交给一个分区来实现。

3.多主节点复制

对主从复制模型天然的扩大，则能够配置多个主节点，每个主节点都能够承受写操作，前面复制的流程相似：解决写的每个主节点必须将该数据更改转发到所有其余节点。

3.1实用场景

①多数据中心

在每个数据中心内，采纳惯例的主从复制计划；而在数据中心之间，由各个数据中心的主节点来负责同其余数据中心的主节点进行数据的替换，更新。

②离线客户端操作

一些终端设备，比方手机，ipad，在网络断开后还须要持续工作，能够独自看作一个数据中心解决，独立的写入数据，在连上网络后须要同步数据。

3.2解决写抵触

①防止抵触

解决抵触最现实的策略是防止发生冲突，即如果应用层能够保障对特定记录的写申请总是通过同一个主节点，这样就不会产生写抵触。

②收敛于始终状态
  • 给每个写入调配惟一的ID。
  • 为每个正本调配一个惟一的ID。
  • 以某种形式将这些值合并在一起。
  • 利用预约义好的格局来记录和保留抵触相干的所有信息，而后依附应用层的逻辑，预先解决抵触（可能会提醒用户）。
③自定义抵触解决逻辑

解决抵触最合适的形式可能还是依附应用层。

  • 在写入时执行。只有数据库系统在复制变更日志时检测到抵触，就会调用应用层的抵触处理程序。
  • 在读取时执行。将所有抵触都保留下来，在下一次读取时返回给应用层，由应用层解决后反馈给数据库。
④主动抵触解决
  • 无抵触的复制数据类型（CRDT)。
  • 可合并的长久数据结构。
  • 操作转换。

4.无主节点复制

放弃主节点，容许任何正本间接承受来自客户端的写申请。

4.1读写quorum

如果有n个正本，写入须要w个节点确认，读取必须至多查问r个节点，则只有w+r>n,读取的节点中肯定蕴含最新值（通过版本号来辨别数据的新旧）。n个别设置为奇数，当n=5,w=3,r=3时，能够容忍两个不可用的节点。通常，读取和写入总是并行发送到所有的n个正本，参数w和参数r只是决定要期待的节点数。即有多少个节点须要返回后果，咱们能力判断出后果的正确性。

4.2读修复和反熵过程

当一个节点生效后从新上线，数据的同步次要有两种办法

  • 读修复。读取数据时读到了旧数据则进行更新，适宜频繁读取数据的场景
  • 反熵过程。启动后盾过程查找各个正本间的差别，进行数据的同步解决。

4.3quorum一致性的局限性

在w+r>n的状况下，也可能存在返回旧值的边界条件。

  • 如果采纳了sloppy quorum,写操作的w节点和读取的r节点可能齐全不同，因而无奈保障读写申请肯定存在重叠的节点
  • 如果两个写操作同时产生，则无奈明确先后顺序。
  • 如果写操作与读操作同时产生，写操作可能仅在一部分正本上实现
  • 如果某些正本上曾经写入胜利，而其余一些正本产生写入失败，且总的胜利正本数据少于w，那些已胜利的正本上不会做回滚。这时写是失败的，但读可能是新值。
  • 如果具备新值的节点起初产生生效，但复原数据来自某个旧值，突破判断条件。

5.总结

数据的复制可能从整体上晋升零碎的可用性，升高提早，进步扩展性，对于不同的零碎独立剖析，从节点生效，网络不牢靠，正本一致性，持久性，可用性和提早这些角度登程，衡量解决，抉择最适宜本人零碎的复制形式。