乐趣区

MySQLSQLAdvisor的简单安装使用

jiezi

一、SQLAdvisor 介绍

SQLAdvisor 是由美团点评公司北京 DBA 团队开发维护的 SQL 优化工具：输入 SQL，输出索引优化建议。它基于 MySQL 原生词法解析，再结合 SQL 中的 where 条件以及字段选择度、聚合条件、多表 Join 关系等最终输出最优的索引优化建议。目前 SQLAdvisor 在公司内部大量使用，较为成熟、稳定。
项目 GitHub 地址：https://github.com/Meituan-Di…
SQLAdvisor 架构流程图
SQLAdvisor 包含了如下的处理方式：Join 处理、where 处理、计算区分度、添加备选索引、Group 与 Order 处理、驱动表选择、添加被驱动表备选索引、输出建议，具体的流程图可以参考 https://tech.meituan.com/2017…

二、SQLAdvisor 的优点

基于 MySQL 原生词法解析，充分保证词法解析的性能、准确定以及稳定性；
支持常见的 SQL(Insert/Delete/Update/Select)；
支持多表 Join 并自动逻辑选定驱动表；
支持聚合条件 Order by 和 Group by；
过滤表中已存在的索引。

三、SQLAdvisor 安装

3.1 拉取最新代码

#git clone https://github.com/Meituan-Dianping/SQLAdvisor.git

3.2 安装依赖项

yum install -y cmake libaio-devel libffi-devel glib2 glib2-devel bison
yum install -y Percona-Server-server-56 Percona-Server-client-56

// 设置软链
cd /usr/lib64/
ls -l libperconaserverclient_r.so.18
ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so

注意

跟据 glib 安装的路径，修改 SQLAdvisor/sqladvisor/CMakeLists.txt 中的两处 include_directories 针对 glib 设置的 path。glib yum 安装默认不需要修改路径
编译 sqladvisor 时依赖 perconaserverclient_r, 因此需要安装 Percona-Server-shared-56。有可能需要配置软链接, 例如:
1. cd /usr/lib64/ 
2. ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so
有可能需要配置 percona56 yum 源:
yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
yum -y install Percona-Server-shared-56

3.3 编译依赖项 sqlparser

1. cmake -DBUILD_CONFIG=mysql_release -DCMAKE_BUILD_TYPE=debug -DCMAKE_INSTALL_PREFIX=/usr/local/sqlparser ./
2. make && make install

注意

DCMAKE_INSTALL_PREFIX 为 sqlparser 库文件和头文件的安装目录，其中 lib 目录包含库文件 libsqlparser.so，include 目录包含所需的所有头文件。DCMAKE_INSTALL_PREFIX 值尽量不要修改，后面安装依赖这个目录。

3.4 安装 SQLAdvisor 源码

1. cd SQLAdvisor/sqladvisor/
2. cmake -DCMAKE_BUILD_TYPE=debug ./
3. make
在本路径下生成一个 sqladvisor 可执行文件，这即是我们想要的。

四、SQLAdvisor 使用

4.1 –help 输出

# ./sqladvisor --help
Usage:
  sqladvisor [OPTION...] sqladvisor

SQL Advisor Summary

Help Options:
  -?, --help              Show help options

Application Options:
  -f, --defaults-file     sqls file
  -u, --username          username
  -p, --password          password
  -P, --port              port
  -h, --host              host
  -d, --dbname            database name
  -q, --sqls              sqls
  -v, --verbose           1:output logs 0:output nothing

4.2 命令行传参调用

# ./sqladvisor -h xx  -P xx  -u xx -p 'xx' -d xx -q "sql" -v 1
注意：命令行传参时，参数名与值需要用空格隔开

4.3 配置文件传参调用

$> cat sql.cnf
[sqladvisor]
username=xx
password=xx
host=xx
port=xx
dbname=xx
sqls=sql1;sql2;sql3....

cmd: ./sqladvisor -f sql.cnf  -v 1

4.4 例子

[root@OPS-9-78 sqladvisor]# sqladvisor -u root -p 'xxxxxx' -h 192.168.9.78 -P 3400 -d test_tur -q "select * from base_test where district_code=10000" -v 1 
2020-04-22 14:16:58 63400 [Note] 第 1 步: 对 SQL 解析优化之后得到的 SQL:select `*` AS `*` from `test_tur`.`base_test` where (`district_code` = 10000) 

2020-04-22 14:16:58 63400 [Note] 第 2 步：开始解析 where 中的条件:(`district_code` = 10000) 

2020-04-22 14:16:58 63400 [Note] show index from base_test 

2020-04-22 14:16:58 63400 [Note] show table status like 'base_test' 

2020-04-22 14:16:58 63400 [Note] select count(*) from (select `district_code` from `base_test` FORCE INDEX( PRIMARY) order by id DESC limit 10000) `base_region` where (`district_code` = 10000)  

2020-04-22 14:16:59 63400 [Note] 第 3 步：表 base_test 的行数:47447,limit 行数:10000, 得到 where 条件中 (`district_code` = 10000) 的选择度:10000 

2020-04-22 14:16:59 63400 [Note] 第 4 步：开始验证 字段 district_code 是不是主键。表名:base_test 

2020-04-22 14:16:59 63400 [Note] show index from base_test where Key_name = 'PRIMARY' and Column_name ='district_code' and Seq_in_index = 1 

2020-04-22 14:16:59 63400 [Note] 第 5 步：字段 district_code 不是主键。表名:base_test 

2020-04-22 14:16:59 63400 [Note] 第 6 步：开始验证 字段 district_code 是不是主键。表名:base_test 

2020-04-22 14:16:59 63400 [Note] show index from base_test where Key_name = 'PRIMARY' and Column_name ='district_code' and Seq_in_index = 1 

2020-04-22 14:16:59 63400 [Note] 第 7 步：字段 district_code 不是主键。表名:base_test 

2020-04-22 14:16:59 63400 [Note] 第 8 步：开始验证表中是否已存在相关索引。表名:base_test, 字段名:district_code, 在索引中的位置:1 

2020-04-22 14:16:59 63400 [Note] show index from base_test where Column_name ='district_code' and Seq_in_index =1 

2020-04-22 14:16:59 63400 [Note] 第 9 步：开始输出表 base_test 索引优化建议: 

2020-04-22 14:16:59 63400 [Note] Create_Index_SQL：alter table base_test add index idx_district_code(district_code) 

2020-04-22 14:16:59 63400 [Note] 第 10 步: SQLAdvisor 结束!
退出移动版