乐趣区

MySQL数据表合并去重

场景:

爬取的数据生成数据表,结构与另一个主表相同,需要进行合并 + 去重

解决:(直接举例)

  • 首先创建两个表 pep,pep2,其中 pep 是主表

    CREATE TABLE IF NOT EXISTS `pep/pep2`(
    `id` INT UNSIGNED AUTO_INCREMENT,
    `no` VARCHAR(100) NOT NULL,
    PRIMARY KEY (`id`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8;
  • 然后向 pep 中插入两条数据,pep2 中插入一条与 pep 中相同的一条数据

    insert into pep(no) values('abc');
    insert into pep(no) values('caa');
    
    insert into pep2(no) values('abc');
  • 将 pep2 的数据插入 pep 中

    insert into pep (no) select no from pep2;
  • 分组去重创建新的临时表 tmp

    create table temp111 select id,no from pep group by id,no;

    注意:创建完这个表的 id 字段类型已经不是主键自增

  • 删除 pep 表,并将 tmp 表重命名为 pep

    drop table pep;
    alter table tmp rename to pep;
  • 查看 desc 结构和 select * from pep 发现 id 的字段类型变了,这里需要改回原来的类型;

    alter table `pep` add primary key (`id`);
    alter table `pep` modify id int auto_increment;

还有可以使用 join 来做去重,更快的还可以添加一个字段(可以是几个字段 + 起来的的 md5 值),给这个字段创建一个唯一索引 unique,以后插入数据的时候,自动回过滤掉重复的数据。

退出移动版