乐趣区

关于mysql:技术分享-MySQLmaxallowedpacket-影响了什么

jiezi

作者：胡呈清

爱可生 DBA 团队成员，善于故障剖析、性能优化，集体博客：https://www.jianshu.com/u/a95…，欢送探讨。

本文起源：原创投稿

* 爱可生开源社区出品，原创内容未经受权不得随便应用，转载请分割小编并注明起源。

max_allowed_packet 示意 MySQL Server 或者客户端接管的 packet 的最大大小，packet 即数据包，MySQL Server 和客户端上都有这个限度。

数据包

每个数据包，都由包头、包体两局部组成，包头由 3 字节的包体长度、1 字节的包编号组成。3 字节最多可能示意 2 ^ 24 = 16777216 字节（16 M），也就是说，一个数据包的包体长度必须小于等于 16M。

如果要发送超过 16M 的数据怎么办？

当要发送大于 16M 的数据时，会把数据拆分成多个 16M 的数据包，除最初一个数据包之外，其它数据包大小都是 16M。而 MySQL Server 收到这样的包后，如果发现包体长度等于 16M，它就晓得本次接管的数据由多个数据包组成，会先把以后数据包的内容写入缓冲区，而后接着读取下一个数据包，并把下一个数据包的内容追加到缓冲区，直到读到完结数据包，就接管到客户端发送的残缺数据了。

那怎么算一个数据包？

  • 一个 SQL 是一个数据包
  • 返回查问后果时，一行数据算一个数据包
  • 解析的 binlog，如果用 mysql 客户端导入，一个 SQL 算一个数据包
  • 在复制中，一个 event 算一个数据包

上面咱们通过测试来探讨 max_allowed_packet 的理论影响。

导入 SQL 文件受 max_allowed_packet 限度吗？

如果 SQL 文件中有单个 SQL 大小超过 max_allowed_packet，会报错：

## 导出时设置 mysqldump --net-buffer-length=16M，这样保障导出的 sql 文件中单个 multiple-row INSERT 大小为 16M
mysqldump -h127.0.0.1 -P13306 -uroot -proot --net-buffer-length=16M \
--set-gtid-purged=off sbtest sbtest1 > /data/backup/sbtest1.sql

## 设置 max_allowed_packet=1M

## 导入报错
[root@localhost data]# mysql -h127.0.0.1 -P13306 -uroot -proot db3 < /data/backup/sbtest1.sql
mysql: [Warning] Using a password on the command line interface can be insecure.
ERROR 1153 (08S01) at line 41: Got a packet bigger than 'max_allowed_packet' bytes

导入解析后的 binlog 受 max_allowed_packet 限度吗？

row 格局的 binlog，单个 SQL 批改的数据产生的 binlog 如果超过 max_allowed_packet，也会报错。

在复原数据到指定工夫点的场景，解析后的 binlog 单个事务大小超过 1G，并且这个事务只蕴含一个 SQL，此时肯定会触发 max_allowed_packet 的报错。然而复原数据的工作又很重要，怎么办呢？能够将 binlog 改名成 relay log，用 sql 线程回放来绕过这个限度。

查问后果受 max_allowed_packet 限度吗？

查问后果中，只有单行数据不超过客户端设置的 max_allowed_packet 即可：

## 插入 2 行 20M 大小的数据
[root@localhost tmp]# dd if=/dev/zero of=20m.img bs=1 count=0 seek=20M
记录了 0 +0 的读入
记录了 0 +0 的写出
0 字节 (0 B) 已复制，0.000219914 秒，0.0 kB/ 秒
[root@localhost tmp]# ll -h 20m.img
-rw-r--r-- 1 root root 20M 6 月   6 15:15 20m.img

mysql> create table t1(id int auto_increment primary key,a longblob);
Query OK, 0 rows affected (0.03 sec)

mysql> insert into t1 values(NULL,load_file('/tmp/20m.img'));
Query OK, 1 row affected (0.65 sec)

mysql> insert into t1 values(NULL,load_file('/tmp/20m.img'));
Query OK, 1 row affected (0.65 sec)

##mysql 客户端默认 --max-allowed-packet=16M, 读取失败
mysql> select * from t1;
ERROR 2020 (HY000): Got packet bigger than 'max_allowed_packet' bytes

## 设置 mysql 客户端 --max-allowed-packet=22M，读取胜利
[root@localhost ~]# mysql -h127.0.0.1 -P13306 -uroot -proot --max-allowed-packet=23068672 sbtest -e "select * from t1;" > /tmp/t1.txt

[root@localhost ~]# ll  -h /tmp/t1.txt
-rw-r--r-- 1 root root 81M 6 月   6 15:30 /tmp/t1.txt

load data 文件大小受 max_allowed_packet 限度吗？

load data 文件大小、单行大小都不受 max_allowed_packet 影响：

## 将上一个测试中的数据导出，2 行数据一共 81M
mysql> select * into outfile '/tmp/t1.csv' from t1;
Query OK, 2 rows affected (0.57 sec)

[root@localhost ~]# ll -h /tmp/t1.csv
-rw-r----- 1 mysql mysql 81M 6 月   6 15:32 /tmp/t1.csv

##MySQL Server max_allowed_packet=16M
mysql> select @@max_allowed_packet;
+----------------------+
| @@max_allowed_packet |
+----------------------+
|             16777216 |
+----------------------+
1 row in set (0.00 sec)

##load data 胜利, 不受 max_allowed_packet 限度
mysql> load data infile '/tmp/t1.csv' into table t1;
Query OK, 2 rows affected (1.10 sec)
Records: 2  Deleted: 0  Skipped: 0  Warnings: 0

binlog 中超过 1G 的 SQL，是如何冲破 max_allowed_packet 复制到从库的？

从库 slave io 线程、slave sql 线程能够解决的最大数据包大小由参数 slave_max_allowed_packet 管制。这是限度 binlog event 大小，而不是单个 SQL 批改数据的大小。

主库 dump 线程会主动设置 max_allowed_packet 为 1G，不会依赖全局变量 max_allowed_packet。用来管制主库 DUMP 线程每次读取 event 的最大大小。

具体能够参考：
https://mp.weixin.qq.com/s/Ef…

另外超过 4G 的大事务，从库心跳会报错：
https://opensource.actionsky….

退出移动版