需求： 对一张用户表根据 name/email/card_num 字段去除重复数据；
思路： 用 group by 方法可以查询出 ’ 去重 ’ 后的数据，将这些数据存储到一张临时表中，然后将临时表的数据存储到指定的表中；
误区及解决方案：group by 方法只能获取部分字段（去重指定字段），不能一次获取到完整的数据，但是可以通过 max 函数获取 group by 结果集中的 id，再根据 id 集合查询出全部的记录。
测试思路
- 查询去重后的数据
SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;
- 从去重后的数据中获取 id 集合
SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;
- 根据去重后的数据中获取 id 集合，从源数据中获得记录列表
SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
实际方法
- 根据去重后的数据中获取 id 集合，从源数据中获得记录列表，将这些列表数据存入一个临时表中
create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
- 将临时表中的数据存入指定的数据表中，完毕
insert into users_copy1 select * from tmp_data;
检测
- 检测结果是不是和第一步查询去重后的数据总数相同
select count(*) from users_copy1;
测试结果：1.4w 条数据中有 2300 条数据重复，实际运行结果为 0.7s，基本满足现在的需求。