乐趣区

网站双活实现及数据库主从同步调研报告

1.    概述

目前网上成熟的方案为:基于 keepalived 的双活与 mysql 主从同步备份数据;而 influxdb 尚不支持集群,目前从 github 上搜到第三方编写的主从备份方案(需使用修改过的 influxdb 版本)。

2.    双活实现

目前使用 keepalived 实现。Keepalived 的作用是检测服务器的状态,如果有一台 web 服务器宕机,或工作出现故障,Keepalived 将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后 Keepalived 自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

如下是网站实现 HA 的原理图。

用户访问 VIP(虚拟 ip),keepalived 将请求转发到 master 服务器的 tomcat 中,若 master 服务器的 tomcat 出现故障,则 keepalived 自动将请求转发到 slave 服务器中,此时 slave 服务器成为 master。若 server 1 恢复运行,则成为 slave 服务器。

3.    MySQL 主从同步

         MySQL 支持集群,支持通过修改配置文件,实现基于二进制日志的主从复制同步。以下为 MySQL 主从同步相关原理介绍。

主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。因为复制是异步进行的,所以从服务器不需要一直连接着主服务器,从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据库上的某个表。mysql 5.6.5 和往后的版本是基于 global transaction identifiers(GTIDs)来进行事务复制。当使用 GTIDs 时可以大大简化复制过程,因为 GTIDs 完全基于事务,只要在主服务器上提交了事务,那么从服务器就一定会执行该事务。

Mysql 服务器之间的主从同步是基于二进制日志机制,主服务器使用二进制日志来记录数据库的变动情况,从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。

在使用二进制日志时,主服务器的所有操作都会被记录下来,然后从服务器会接收到该日志的一个副本。从服务器可以指定执行该日志中的哪一类事件(譬如只插入数据或者只更新数据),默认会执行日志中的所有语句。

每一个从服务器会记录关于二进制日志的信息:文件名和已经处理过的语句,这样意味着不同的从服务器可以分别执行同一个二进制日志的不同部分,并且从服务器可以随时连接或者中断和服务器的连接。

主服务器和每一个从服务器都必须配置一个唯一的 ID 号(在 my.cnf 文件的 [mysqld] 模块下有一个 server-id 配置项),另外,每一个从服务器还需要通过 CHANGE MASTER TO 语句来配置它要连接的主服务器的 ip 地址,日志文件名称和该日志里面的位置(这些信息存储在主服务器的数据库里)

4.    influxdb 数据库主从同步(未验证)

该方案是从 github 上找到的(开源解决方案),未作验证。

主从同步结构参考了 MySQL 主从同步的实现,进行了部分简化。使用 InfluxDB 内部日志记录增删改查数据,使用 Python 脚本将日志过滤后,增删改记录同步到从库中。该方案需要使用方案对应的修改过的 influxdb。

如下为拓扑图

退出移动版