网站双活实现及数据库主从同步调研报告

1.    概述

目前网上成熟的方案为：基于keepalived的双活与mysql主从同步备份数据；而influxdb尚不支持集群，目前从github上搜到第三方编写的主从备份方案（需使用修改过的influxdb版本）。

2.    双活实现

目前使用keepalived实现。Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

如下是网站实现HA的原理图。

用户访问VIP（虚拟ip）,keepalived将请求转发到master服务器的tomcat中，若master服务器的tomcat出现故障，则keepalived自动将请求转发到slave服务器中，此时slave服务器成为master。若server 1恢复运行，则成为slave服务器。

3.    MySQL主从同步

         MySQL支持集群，支持通过修改配置文件，实现基于二进制日志的主从复制同步。以下为MySQL主从同步相关原理介绍。

主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时，一个服务器充当主服务器（master），其余的服务器充当从服务器（slave）。因为复制是异步进行的，所以从服务器不需要一直连接着主服务器，从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件，可以指定复制所有的数据库，某个数据库，甚至是某个数据库上的某个表。mysql 5.6.5和往后的版本是基于global transaction identifiers(GTIDs)来进行事务复制。当使用GTIDs时可以大大简化复制过程，因为GTIDs完全基于事务，只要在主服务器上提交了事务，那么从服务器就一定会执行该事务。

Mysql服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。

在使用二进制日志时，主服务器的所有操作都会被记录下来，然后从服务器会接收到该日志的一个副本。从服务器可以指定执行该日志中的哪一类事件（譬如只插入数据或者只更新数据），默认会执行日志中的所有语句。

每一个从服务器会记录关于二进制日志的信息：文件名和已经处理过的语句，这样意味着不同的从服务器可以分别执行同一个二进制日志的不同部分，并且从服务器可以随时连接或者中断和服务器的连接。

主服务器和每一个从服务器都必须配置一个唯一的ID号（在my.cnf文件的[mysqld]模块下有一个server-id配置项），另外，每一个从服务器还需要通过CHANGE MASTER TO语句来配置它要连接的主服务器的ip地址，日志文件名称和该日志里面的位置（这些信息存储在主服务器的数据库里）

4.    influxdb数据库主从同步（未验证）

该方案是从github上找到的（开源解决方案），未作验证。

主从同步结构参考了MySQL主从同步的实现，进行了部分简化。使用InfluxDB内部日志记录增删改查数据，使用Python脚本将日志过滤后，增删改记录同步到从库中。该方案需要使用方案对应的修改过的influxdb。

如下为拓扑图