关于hive:关于-group-by-和-distinct-的优化之争

始终能在网上看到很多小视频和小文章，上来就讲 sql 优化，要用 group by，不要用 distinct，然而事实果然是 group by 优于 distinct 吗？对所有数据库和查问引擎来说都是这样吗？显然不是，这篇文章就梳理一下在 hive 和 mysql 中二者的区别！

hive 中 group by 和 distinct 孰优孰劣？

首先申明一下，hive 是什么：
hive 不是数据库，hive 只是一个数据仓库工具，能够用来查问、转化和加载数据，是能够调用 mapreduce 工作、用类 mysql 语法查问 HDFS 数据的一个工具。
再来说 mapreduce 是什么，mapreduce 是分而治之的一种编程模型，实用于大规模数据集的并行计算，当解决一个查问工作时，先调用 map 工作并行处理，最初用 reduce 工作归约后果。
那么对于一张 200w+ 的表，咱们来看一下 group by 和 distinct 的执行过程：

set mapreduce.map.java.opts="-Dfile.encoding=UTF-8"; set mapreduce.reduce.java.opts="-Dfile.encoding=UTF-8";
select province,city from dulux_dataset_67 group by province,city

set mapreduce.map.java.opts="-Dfile.encoding=UTF-8"; set mapreduce.reduce.java.opts="-Dfile.encoding=UTF-8";
select distinct province,city from dulux_dataset_67 

这里你可能就要问了，不是通常说 group by 的效率高于 distinct 吗？为什么 distinct 和 group by 都调用了 18 个 reduce 工作，distinct 的工夫还破费的少一些，其实在数据量不大的状况下，distinct 和 group by 的差异不是很大，然而对于 count(distinct *) 来说会产生数据歪斜，因为 hive 默认在解决 COUNT 这种“全聚合 (full aggregates)”计算时，它会疏忽用户指定的 Reduce Task 数，而强制应用 1，会产生数据歪斜

select count(0) from dulux_dataset_67 

然而依然要看数据量的大小，在数据量小的状况上来重计数，尽管 count(distinct *) 会产生数据歪斜，然而只有执行一次 mapreduce 工作，而 select count(0) from(select field from table group by field) 这种要执行两遍 mapreduce 工作，总的工夫破费可能不比前者少，如下例子：

select count(0) from (select sales_order_no from dulux_dataset_67 group by sales_order_no) a

select count(distinct  sales_order_no) from dulux_dataset_67 

然而针对上亿的数据量，数据歪斜就会节约很多工夫，甚至因为机器资源缓和导致运行失败，这种状况就倡议应用 group by 了，不仅能够分组，还能配合聚合函数一起应用

那么对于 mysql 数据库来说，哪个性能更好呢？

在 Mysql8.0 之前 group by 会进行隐式排序，导致触发 filesort，sql 执行效率低下，distinct 效率高于 group by。但从 Mysql8.0 开始，Mysql 就删除了隐式排序，所以在语义雷同，无索引的状况下，group by 和 distinct 的执行效率也是近乎等价的。

那为什么，大家都更推崇应用 group by？

1. group by 语义更为清晰
2. group by 可对数据进行更为简单的一些解决，相比于 distinct 来说，group by 的语义明确。且因为 distinct 关键字会对所有字段失效，在进行复合业务解决时，group by 的应用灵活性更高，group by 能依据分组状况，对数据进行更为简单的解决，例如通过 having 对数据进行过滤，或通过聚合函数对数据进行运算