以我多年教训来看,VARCHAR的最大长度、字符串类型抉择,用MySQL的人中十之七八是不分明的。网上文章滥竽充数,以讹传讹居多。

本文不止介绍了原理,还提供了案例手把手教你本人剖析,彻底解决你的纳闷。

假如有个VARCHAR(64) CHARSET utf8mb4列,存储了中国cn这个字符串。

那你猜一猜,MySQL存储时用了多少字节?

  • A:4 Bytes
  • B:5 Bytes
  • C:8 Bytes
  • D:9 Bytes
  • E:10 Bytes
  • F:10.125 Bytes
  • G:11 Bytes
  • H:12 Bytes
  • I:12.125 Bytes
  • K:13 Bytes

正确答案是F和G。

如果您没猜对,那么花7~10分钟读完本文,即可破解这一谜题。成长高兴轻轻松松。

文章目录

  • VARCHAR的定义
  • VARCHAR的最大长度
  • 最大行大小
  • 可空列标识位
  • 字符集的单字符最大字节数
  • VARCHAR的长度标识位
  • 样例
本文内容实用于MySQL 5.5/5.6/5.7/8.x

VARCHAR的定义

VARCHAR是变长字符串。

思考其变长原理中有较多因素,在具体合成前,有必要一起重温下官网定义。

为了便于了解,我用CHAR定长类型来比照介绍。先看两个小例子:

  • VARCHAR(4),最多存储4个字符,有几个字符存储几个。存储字节数 = 数据值的字节和 + 1字节(长度标识,前面会讲到)
  • CHAR(4),最多存储4个字符,有余4个尾部用空格填满。存储字节数 = 数据值的字节和 + 补位空格数

概括地说,VARCHAR和CHAR都是MySQL的字符串类型,存储多个字符、可设置最大存储的字符数,存储开销都与数据长度、字符集无关。是MySQL最罕用的字符串类型。

CHAR和VARCHAR具体比照:

如果开启PAD_CHAR_TO_FULL_LENGTH模式,检索时尾部空格不会去除

CHAR超过255字符会报错,提醒应用TEXT或BLOB:

ERROR 1074 (42000): Column length too big for column ''long_char''  (max = 255); use BLOB or TEXT instead

VARCHAR的最大长度

在MySQL官网定义中,罕用的COMPACT、DYNAMIC行模式下,最大长度受几个因素影响:

  • 行存储的最大字节数
  • 数据之外的存储开销,官网定义中包含:NULL标识、长度标识
  • 存储字符的字符集

算法如下:

最大长度(字符数) = (行存储最大字节数 - NULL标识列占用字节数 - 长度标识字节数) / 字符集单字符最大字节数。有余数时向下取整。

上面通过逐渐实例验证,演示如何计算出最大长度。

最大行大小

MySQL行默认最大65535字节,是所有列共享的,所以VARCHAR的最大值受此限度。

接下来,咱们要创立一个65536字节的VARCHAR,来验证这个边界值。

后面讲过,VARCHAR申明的长度是指字符数。要换算为65536字节,最好一个字符只占一个字节。

所以这里应用了latin1字符集(MySQL默认字符集,不指定即为默认)。

mysql> create table test_varchar_length(v varchar(65536) not null);ERROR 1074 (42000): Column length too big for column 'v' (max = 65535); use BLOB or TEXT instead

能够看到报错了,提醒咱们行最大长度为65535字节。

如果咱们要插入一个非空的VARCHAR,其最大长度不能超过65535(行最大值) - 2(长度标识位) = 65533字节(长度标识位需2字节能力示意2^16=65536个数字):

/** 测试边界值65534,确认依然过大;留神这里应用默认字符集latin1、单字节字符集 */mysql> create table test_varchar_length(v varchar(65534) not null); ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual. You have to change some columns to TEXT or BLOBs/** 测试边界值65533,创立胜利,阐明行最大值为65535 */mysql> create table test_varchar_length(v varchar(65533) not null); Query OK, 0 rows affected (0.02 sec)/** 查看默认字符集,确认是latin1,每个字符只占用1个字节 */mysql> show create table test_varchar_length;+----------------------+------------------------------------------------------------------------------------------------------------+| Table                | Create Table                                                                                               |+----------------------+------------------------------------------------------------------------------------------------------------+| test_varchar_length | CREATE TABLE `test_varchar_length` (  `v` varchar(65533) NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=latin1 |+----------------------+------------------------------------------------------------------------------------------------------------+1 row in set (0.00 sec)

可空列标识位

在COMPACT、DYNAMIC行格局下,行大小除了数据列长度,还包含可空列标识,即NULL标识位。

如果有一个列容许为空,则须要1 bit来标识,每8 bits的标识会组成一个字段,该字段会寄存在每行最开始的地位。

留神,这个标识位不是放在每列,而是每行共享。

假如一张表中存在N个可空字段,NULL标识位须要⌈N / 8 ⌉ (向上取整)个字节。此时整行可用于数据存储的空间只有65535 − ⌈ N / 8 ⌉个字节。

Talk is cheep,一起来验证下:

在行大小的例子中,咱们晓得最大可创立65533字节长度的非空VARCHAR列。当初要创立一个可空列,每行须要1 bit的NULL标识位、MySQL会将其组装成1 byte的字段寄存,那么咱们应该可创立最大为65533(最大非空VARCHAR列) - 1(NULL标识列)\= 65532字节的可空VARCHAR列:

/** 删除后面创立的表 */mysql> drop table test_varchar_length;Query OK, 0 rows affected (0.01 sec)/** 测试边界值65533,确认依然过大;留神这里应用默认字符集latin1、单字节字符集 */mysql> create table test_varchar_length(v varchar(65533));ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual. You have to change some columns to TEXT or BLOBs/** 测试边界值65532,创立胜利,阐明可空标识列的确占去了1字节;留神这里应用默认字符集latin1、单字节字符集 */mysql> create table test_varchar_length(v varchar(65532));Query OK, 0 rows affected (0.03 sec)

计算VARCHAR的最大长度,可空标识位是最容易疏忽的。

字符集的单字符最大字节数

字符集单字符最大字节数不难理解,列举MySQL常见的三个字符集:

  • GBK:单字符最大可占用2个字节。
  • UTF8:单字符最大可占用3个字节。
  • UTF8MB4:单字符最大占4个字节。

假如还有6字节能够寄存字符,按单字符占用最大字节数来算,能够寄存3个GBK、2个UTF8、1个UTF8MB4。

VARCHAR的长度标识位

长度标识位是绝对比较复杂的,网上的介绍错的很多,也容易算错。

其作用是记录数据的字节数。

存储开销是小于255只有1字节、大于255后应用两字节。是因为依照可能的数据大小,分为0 - 255(28)、256 - 65535(216),刚好对应1字节和2字节。

但要留神,其计算依据的是字段申明的字符长度、计算可能的字节数,再决定长度标记的字节数。如VARCHAR(100),字符集为UTF8,可能的字节数为300,长度标识则为2字节。这是网上介绍错的最多的。

另外长度标记位是底层存储开销,不占用字段申明的字符长度。申明的字符长度的是数据的字符数,数据的字节数与字符集无关。

以VARCHAR(1)为例,能够存1个字符,MySQL会额定找一个字节寄存长度标识

样例

公式应该都了解了:VARCHAR的最大长度 = (最大行大小 - NULL标识列占用字节数 - 长度标识字节数) / 字符集单字符最大字节数。有余数时向下取整。

接下来通过试验来验证。为了便于了解计算,例子做了一些调整:

  • 不设置可空列、这样能够去掉NULL标识列
  • 为了便于体现长度标识位的差距,采纳多个列的模式放大其存在
  • 为了体现按可能字节数计算长度,这里采纳多字节的字符集GBK

创立一个表,蕴含2个非空VARCHAR(127),每个列存储开销为127*2(可能的最大字节数, GBK字符占2字节)+长度标识位1\=255字节:

  • 残余空间为65535 - 255*2 = 65025字节
  • 残余空间可寄存一个VARCHAR(32511) NOT NULL列(32511*2(GBK字符占2字节)+2(长度标识位占2字节)=65024
mysql> drop table test_varchar_length;Query OK, 0 rows affected (0.01 sec)/** 测试边界值32512,确认依然过大 */mysql> create table test_varchar_length(v1 varchar(127) not null,v2 varchar(127) not null,vm varchar(32512) not null) CHARSET=GBK;    ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual. You have to change some columns to TEXT or BLOBs/** 测试边界值32511,创立胜利,阐明两个长度标识位共占去了2字节 */mysql> create table test_varchar_length(v1 varchar(127) not null,v2 varchar(127) not null,vm varchar(32511) not null) CHARSET=GBK; Query OK, 0 rows affected (0.02 sec)

接下来将两个字段调大到128字符,每个列的存储为最大字节数256+长度标识位2=258字节

  • 残余空间65535 - 258*2 = 65019字节
  • 残余空间可寄存一个VARCHAR(32508) NOT NULL列(32508*2(GBK字符占2字节)+2(长度标识位占2字节)=65018):
mysql> drop table test_varchar_length;Query OK, 0 rows affected (0.01 sec)/** 测试边界值32509,确认依然过大 */mysql> create table test_varchar_length(v1 varchar(128) not null,v2 varchar(128) not null,vm varchar(32509) not null) CHARSET=GBK; ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual. You have to change some columns to TEXT or BLOBs/** 测试边界值32508,创立胜利,阐明两个长度标识位共占去了4字节 */mysql> create table test_varchar_length(v1 varchar(128) not null,v2 varchar(128) not null,vm varchar(32508) not null) CHARSET=GBK; Query OK, 0 rows affected (0.02 sec)

祝贺你,能看到这里的人预计不多,保持下来的你曾经失去了晋升。

那么再一起解下最后的问题:

  • UTF8MB4字符中,中文字符须要3个字节(大部分中文只须要3字节,4字节次要是emoji等辅助立体字符),那么“中国cn”须要3+3+1+1共 8个字节
  • VARCHAR(64) CHARSET utf8mb4字段,数据最大可能的字节数是64*4=256,所以须要 2个字节 作为长度标识位;
  • 该字段是能够为空的,那么还须要NULL标识位,MySQL会生成一个 1字节 的NULL标识列来记录;
  • 所以要存储“中国cn”,列须要8 + 2个字节,还须要1字节作为NULL标识列;因为该列是多个列共享的,如果该表只有一个字段,那么能够存储开销应该是11个字节,否则只能算作10.125字节(1/8等于0.125)

所以答案是10.125或11字节。