场景：

爬取的数据生成数据表，结构与另一个主表相同，需要进行合并+去重

解决：（直接举例）

  • 首先创建两个表pep，pep2，其中pep是主表

    CREATE TABLE IF NOT EXISTS `pep/pep2`(`id` INT UNSIGNED AUTO_INCREMENT,`no` VARCHAR(100) NOT NULL,PRIMARY KEY ( `id` ))ENGINE=InnoDB DEFAULT CHARSET=utf8;

  • 然后向pep中插入两条数据，pep2中插入一条与pep中相同的一条数据

    insert into pep(no) values('abc');insert into pep(no) values('caa');insert into pep2(no) values('abc');

  • 将pep2的数据插入pep中

    insert into pep (no) select no from pep2;

  • 分组去重创建新的临时表tmp

    create table temp111 select id,no from pep group by id,no;

    注意：创建完这个表的id字段类型已经不是主键自增

  • 删除pep表，并将tmp表重命名为pep

    drop table pep;alter table tmp rename to pep;

  • 查看desc结构和select * from pep发现id的字段类型变了，这里需要改回原来的类型；

    alter table `pep` add primary key (`id`);alter table `pep` modify id int auto_increment;

还有可以使用join来做去重，更快的还可以添加一个字段（可以是几个字段+起来的的md5值），给这个字段创建一个唯一索引unique，以后插入数据的时候，自动回过滤掉重复的数据。