关于架构:Java架构师成长直通车

60次阅读

共计 3408 个字符,预计需要花费 9 分钟才能阅读完成。

Java 架构师成长直通车

这个 MySQL bug 让我大开眼界!

这周收到一个 sentry 报警,如下 SQL 查问超时了。

select * from order_info where uid = 5837661 order by id asc limit 1
复制代码
执行 show create table order_info 发现这个表其实是有加索引的

CREATE TABLE order_info (
id bigint(20) unsigned NOT NULL AUTO_INCREMENT,
uid int(11) unsigned,
order_status tinyint(3) DEFAULT NULL,
… 省略其它字段和索引
PRIMARY KEY (id),
KEY idx_uid_stat (uid,order_status),
) ENGINE=InnoDB DEFAULT CHARSET=utf8
复制代码
实践上执行上述 SQL 会命中 idx_uid_stat 这个索引,但实际执行 explain 查看

explain select * from order_info where uid = 5837661 order by id asc limit 1
复制代码
可能看到它的 possible_keys(此 SQL 可能涉及到的索引)是 idx_uid_stat,但实际上(key)用的却是全表扫描
download

咱们知道 MySQL 是基于成本来抉择是基于全表扫描还是抉择某个索引来执行最终的执行计划的,所以看起来是全表扫描的成本小于基于 idx_uid_stat 索引执行的成本,不过我的第一感觉很奇怪,这条 SQL 诚然是回表,但它的 limit 是 1,也就是说只抉择了满足 uid = 5837661 中的其中一条语句,就算回表也只回一条记录,这种成本几乎可能忽略不计,优化器怎么会抉择全表扫描呢。

当然怀疑归怀疑,为了查看 MySQL 优化器为啥抉择了全表扫描,我打开了 optimizer_trace 来一探究竟

画外音:在 MySQL 5.6 及之后的版本中,咱们可能使用 optimizer trace 功能查看优化器生成执行计划的整个过程

使用 optimizer_trace 的具体过程如下

SET optimizer_trace=”enabled=on”; // 打开 optimizer_trace
SELECT * FROM order_info where uid = 5837661 order by id asc limit 1
SELECT * FROM information_schema.OPTIMIZER_TRACE; // 查看执行计划表
SET optimizer_trace=”enabled=off”; // 敞开 optimizer_trace
复制代码
MySQL 优化器首先会计算出全表扫描的成本,而后选出该 SQL 可能涉及到到的所有索引并且计算索引的成本,而后选出所有成本最小的那个来执行,来看下 optimizer trace 给出的要害信息

{
“rows_estimation”: [

{
  "table": "`rebate_order_info`",
  "range_analysis": {
    "table_scan": {
      "rows": 21155996,
      "cost": 4.45e6    // 全表扫描成本
    }
  },
  ...
  "analyzing_range_alternatives": {
      "range_scan_alternatives": [
      {
        "index": "idx_uid_stat",
        "ranges": ["5837661 <= uid <= 5837661"],
        "index_dives_for_eq_ranges": true,
        "rowid_ordered": false,
        "using_mrr": false,
        "index_only": false,
        "rows": 255918,
        "cost": 307103,     // 使用 idx_uid_stat 索引的成本
        "chosen": true
        }
      ],
   "chosen_range_access_summary": { // 通过下面的各个成本比较后抉择的最终后果
     "range_access_plan": {
         "type": "range_scan",
         "index": "idx_uid_stat",   // 可能看到最终抉择了 idx_uid_stat 这个索引来执行
         "rows": 255918,
         "ranges": ["58376617 <= uid <= 58376617"]
     },
     "rows_for_plan": 255918,
     "cost_for_plan": 307103,
     "chosen": true
     }
     }  
...

复制代码
可能看到全表扫描的成本是 4.45e6,而抉择索引 idx_uid_stat 的成本是 307103,远小于全表扫描的成本,而且从最终的抉择后果(chosen_range_access_summary)来看,确实也是抉择了 idx_uid_stat 这个索引,但为啥从 explain 看到的抉择是执行 PRIMARY 也就是全表扫描呢,难道这个执行计划有误?
download

认真再看了一下这个执行计划,果然发现了猫腻,执行计划中有一个 reconsidering_access_paths_for_index_ordering 抉择引起了我的注意

{
“reconsidering_access_paths_for_index_ordering”: {

"clause": "ORDER BY",
"index_order_summary": {
  "table": "`rebate_order_info`",
  "index_provides_order": true,
  "order_direction": "asc",
  "index": "PRIMARY", // 可能看到抉择了主键索引
  "plan_changed": true,
  "access_type": "index_scan"
}

}
}
复制代码
这个抉择示意因为排序的原因再进行了一次索引抉择优化,因为咱们的 SQL 使用了 id 排序(order by id asc limit 1), 优化器最终抉择了 PRIMARY 也就是全表扫描来执行,也就是说这个抉择会漠视之前的基于索引成本的抉择,为什么会有这样的一个选项呢,次要原因如下:

The short explanation is that the optimizer thinks — or should I say hopes — that scanning the whole table (which is already sorted by the id field) will find the limited rows quick enough, and that this will avoid a sort operation. So by trying to avoid a sort, the optimizer ends-up losing time scanning the table.

从这段解释可能看出次要原因是因为咱们使用了 order by id asc 这种基于 id 的排序写法,优化器认为排序是个低廉的操作,所以为了避免排序,并且它认为 limit n 的 n 如果很小的话即使使用全表扫描也能很快执行完,这样使用全表扫描也就避免了 id 的排序(全表扫描其实也就是基于 id 主键的聚簇索引的扫描,本身就是基于 id 排好序的)

如果这个抉择是对的那也而已,然而实际上这个优化却是有 bug 的!实际抉择 idx_uid_stat 执行会快得多(只需 28 ms)!网上有不少人反馈这个问题,而且出现这个问题基本只与 SQL 中出现 order by id asc limit n 这种写法无关,如果 n 比较小很大概率会走全表扫描,如果 n 比较大则会抉择正确的索引。

这个 bug 最早追溯到 2014 年,不少人都呐喊官网及时修改这个 bug,可能是实现比较艰巨,直到 MySQL 5.7,8.0 都还没解决,所以在官网修复前咱们要尽量避免这种写法,那么怎么避免呢,次要有两种打算

使用 force index 来强制使用指定的索引,如下:
select * from order_info force index(idx_uid_stat) where uid = 5837661 order by id asc limit 1
复制代码
这种写法诚然可能,但不够斯文,如果这个索引被废除了咋办?于是有了第二种比较斯文的打算

使用 order by (id+0) 打算,如下
select * from order_info where uid = 5837661 order by (id+0) asc limit 1
download

正文完
 0