乐趣区

关于java:MySQL-主从复制数据不一致怎么办

jiezi

@[toc]
明天的文章来晚了，次要是我一觉起来变黄码了，要害是我还不晓得，早上 8.20 到了公司楼下，保安要看衰弱码，当我自信满满的关上粤省事却傻眼了，折腾一早上，绿码总算回来了，真是生存处处有惊喜。。。

书接上回，闲话不表。

明天来说说 MySQL 主从复制数据不统一的问题，通过几个具体的案例，来向小伙伴们展现 binlog 不同 format 之间的区别。

1. 筹备工作

以下配置基于 Docker。

我这里有一张简略的图向大伙展现 MySQL 主从的工作形式：

这里，咱们筹备两台机器：

  • 主机：10.3.50.27:33061
  • 从机：10.3.50.27:33062

1.1 主机配置

主机的配置就三个步骤，比拟容易：

1. 受权给从机服务器 

GRANT REPLICATION SLAVE ON *.* to 'rep1'@'10.3.50.27' identified by '123';
FLUSH PRIVILEGES;

这里示意配置从机登录用户名为 rep1，明码为 123，并且必须从 10.3.50.27 这个地址登录，登录胜利之后能够操作任意库中的任意表。其中，如果不须要限度登录地址，能够将 IP 地址更换为一个 %。

留神，在 MySQL8 里边，这块有一些变动。MySQL8 中用户创立和受权须要离开，不能像下面那样一步到位，具体形式如下：

CREATE USER `rep1`@`10.3.50.27` IDENTIFIED WITH caching_sha2_password BY 'javaboy.COM';

GRANT Replication Slave ON *.* TO `rep1`@`10.3.50.27`;

2. 批改主库配置文件

开启 binlog，并设置 server-id，每次批改配置文件后都要重启 MySQL 服务才会失效

开启 binlog 次要是批改 MySQL 的配置文件 mysqld.cnf，该文件在容器的 /etc/mysql/mysql.conf.d 目录下。

针对该配置文件，咱们做如下批改：

[mysqld]
# 这个参数示意启用 binlog 性能，并指定 binlog 的存储目录
log-bin=javaboy_logbin
# 设置 binlog_format 格局
binlog_format=STATEMENT
# 设置一个 binlog 文件的最大字节
# 设置最大 100MB
max_binlog_size=104857600

# 设置了 binlog 文件的有效期（单位：天）expire_logs_days = 7

# binlog 日志只记录指定库的更新（配置主从复制的时候会用到）binlog-do-db=javaboy_db

# binlog 日志不记录指定库的更新（配置主从复制的时候会用到）#binlog-ignore-db=javaboy_no_db

# 写缓存多少次，刷一次磁盘，默认 0 示意这个操作由操作系统依据本身负载自行决定多久写一次磁盘
# 1 示意每一条事务提交都会立刻写磁盘，n 则示意 n 个事务提交才会写磁盘
sync_binlog=0

# 为以后服务取一个惟一的 id（MySQL5.7 开始须要）server-id=1

各项配置的含意松哥曾经在凝视中阐明了。截图如下：

如下图：

  • log-bin：同步的日志门路及文件名，肯定留神这个目录要是 MySQL 有权限写入的（我这里是偷懒了，间接放在了上面那个 datadir 上面）。
  • binlog-do-db：要同步的数据库名，当从机连上主机后，只有这里配置的数据库才会被同步，其余的不会被同步。
  • server-id: MySQL 在主从环境下的惟一标志符，给个任意数字，留神不能和从机反复。
  • 批改 binlog_format 的值为 STATEMENT，这一点很要害。

配置实现后重启 MySQL 服务端：

docker restart mysql33061

3. 查看主服务器以后二进制日志名和偏移量

这个操作的目标是为了在从数据库启动后，从这个点开始进行数据的复原：

show master status;

再看一眼 binlog_format 设置胜利没：

能够看到，没问题。

至此，主机配置实现。

1.2 从机配置

从机的配置也比较简单，咱们一步一步来看：

1. 在 /etc/my.cnf 增加配置

留神从机这里只须要配置一下 server-id 即可。

留神：如果从机是从主机复制来的，即咱们通过复制 CentOS 虚拟机获取了 MySQL 实例，此时两个 MySQL 的 uuid 一样（失常装置是不会雷同的），这时须要手动批改，批改地位在 /var/lib/mysql/auto.cnf，留神轻易批改这里几个字符即可，但也不可太过于随便，例如批改了 uuid 的长度。

配置实现后，记得重启从机。

2. 应用命令来配置从机 

change master to master_host='10.3.50.27',master_port=33061,master_user='rep1',master_password='123',master_log_file='javaboy_logbin.000001',master_log_pos=154;

这里配置了主机地址、端口以及从机登录主机的用户名和明码，留神最初两个参数要和 master 中的保持一致。

留神，因为 MySQL8 明码插件的问题，这个问题同样会给主从配置带来问题，所以在 MySQL8 配置主从上，下面这行命令须要增加 get_master_public_key=1，残缺命令如下：

change master to master_host='10.3.50.27',master_port=33061,master_user='rep1',master_password='123',master_log_file='javaboy_logbin.000001',master_log_pos=154,get_master_public_key=1;

3. 启动 slave 过程 

start slave;

启动之后查看从机状态：

show slave status\G;

4. 查看 slave 的状态

次要是上面两项值都要为为 YES，则示意配置正确：

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

至此，配置实现，主机创立库，增加数据，从机会主动同步。

如果这两个有一个不为 YES，示意主从环境搭建失败，此时能够浏览日志，查看出错的起因，再具体问题具体解决。

具体的同步过程如下：

  1. 首先在从机 33062 上通过 change master 命令，设置主机 33061 的 IP、端口、用户名、明码，以及要从哪个地位开始申请 binlog（master_log_pos），这个地位蕴含文件名和日志偏移量。
  2. 在从机 33061 上执行 start slave 命令，这时候从机会启动两个线程，别离是 io_thread 和 sql_thread。
  3. io_thread 负责与主机建设连贯。
  4. 主机 33061 校验完用户名、明码后，开始依照从机 33062 传过来的地位，从本地读取 binlog，发给 33062。
  5. 从机 33062 拿到 binlog 后，写到本地文件，称为直达日志（relay log）。
  6. sql_thread 线程读取直达日志，解析出日志里的命令，并执行。

大抵就是这样一个流程。

2. 数据不统一问题

接下来咱们创立一个 javaboy_db 的数据库，并在里边创立一个 user 表，user 表的定义如下：

CREATE TABLE `user` (`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `uuid` varchar(128) DEFAULT NULL,
  `name` varchar(64) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

接下来咱们在主机中向 user 表中插入一条记录，如下：

按情理，这条记录会同步到 33062 这台从机上：

大家看到， 数据的确同步了，然而 uuid 却不一样。

3. 起因剖析

咱们晓得，MySQL 主从同步最次要的根据就是 binlog，master 将本人的 binlog 发给 slave，slave 重放之后获取和 master 统一的数据。

那咱们就来看看 master 生成的 binlog 是啥样子。

咱们依照事件的形式来看一下 binlog，命令格局如下：

show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

这个示意以事件的形式来查看 binlog，这里波及到几个参数：

  • log_name：能够指定要查看的 binlog 日志文件名，如果不指定的话，示意查看最早的 binlog 文件。
  • pos：从哪个 pos 点开始查看，但凡 binlog 记录下来的操作都有一个 pos 点，这个其实就是相当于咱们能够指定从哪个操作开始查看日志，如果不指定的话，就是从该 binlog 的结尾开始查看。
  • offset：这是是偏移量，不指定默认就是 0。
  • row_count：查看多少行记录，不指定就是查看所有。

查看命令如下（我这里就从 pos 为 154 的地位开始）：

show binlog events IN 'javaboy_logbin.000001' FROM 154;

查看后果如下（局部）：

从图中能够看到，记录在 binlog 原文中的日志是：use javaboy_db; insert into user(uuid,name) values(uuid(),'javaboy')。

这句 SQL 未来同步到 slave 之后，slave 照着执行一下，那必然呈现执行后果不统一的问题，因为 uuid() 函数每次执行后果都不一样。

当初小伙伴们看明确问题的起因了吧。

4. 问题解决

问题倒也好解决，上篇文章咱们说过，咱们能够将 binlog_format 设置为 ROW 来解决这个问题。

具体操作步骤如下。

在主机中，批改 /etc/mysql/mysql.conf.d/mysqld.cnf 配置文件，将 binlog_format 改为 ROW，如下：

批改实现后，重启主机，主机重启之后，会产生新的 binlog 文件，所以咱们须要从新查看主机的最新状态并重新配置从机，先来看主机，如下：

以此为根据，让从机从新连贯主机，在从机上再进行如下操作：

stop slave;

change master to master_host='10.3.50.27',master_port=33061,master_user='rep1',master_password='123',master_log_file='javaboy_logbin.000002',master_log_pos=794;

start slave;

重新配置完从机之后，咱们持续向 user 表插入一条数据，插入实现后，咱们再去看从机的数据，发现此时的数据曾经是统一的了。

解决这个问题，咱们最次要的更改就是批改了 binlog_format 为 ROW，当咱们把 binlog_format 改为 ROW 之后，咱们来看看此时 binlog 中都记录了啥。

show binlog events IN 'javaboy_logbin.000002' FROM 794;

大家看到，在 BEGIN 和 COMMIT 之间，就是咱们的数据批改操作。

  • Table_map：这一行是阐明了接下来要操作 javaboy_db.user 表。
  • Write_rows：这一行是阐明了要写一行新的数据了。

不过这里看不出啥端倪来，咱们借助 mysqlbinlog 工具来看看是否有新的发现。

为了查看 binlog，MySQL 为咱们提供了两个官网工具，除了下面的 show binlog events，另一个就是 mysqlbinlog 命令，如下（留神在零碎中执行该命令，不是在 MySQL 终端执行该命令）：

mysqlbinlog -vv /var/lib/mysql/javaboy_logbin.000002 --start-position=794;
  • -vv 示意显示详细信息，这样就会打印出 binlog 中二进制文件的内容。

这里的内容比拟多，咱们来看几个比拟要害的中央：

  1. Table_map: javaboy_db.user mapped to number 108：这示意接下来要操作编号为 108 的表，每张表都有一个本人的编号。
  2. Write_rows: table id 108 flags: STMT_END_F：这个就是具体的增加操作了，向编号为 108 的表中增加一条记录。

接下来那两行，大抵上瞅一眼，像是 Base64 转码后的内容，大家感兴趣的能够自行解码看看，解码后有一些是乱码的，然而有一些字符串如 uuid 则没有乱码，咱们也能大抵猜出来这里存储的内容。

接下来咱们看上面记录的 SQL，如下：

这就是日志中记录的内容，能够看到，每个字段上具体的值是啥，都写下来了，这样当然就不会产生数据不统一的状况了。

5. 小结

好啦，明天通过一个简略的案例，跟小伙伴们分享了 binlog 两种不同的日志格局，另外还有一中 MIXED 格局当初很少用了，感兴趣的小伙伴能够联合上篇文章的内容，在本文案例的根底上持续测试 MIXED 模式，这里我就不赘述啦～

退出移动版