本篇文章介绍MySQL数据表合并去重的实现方法 场景: 爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重 解决:(直接举例) 首先创建两个表pep,pep2,其中pep是主表 CREATE TABLE IF NOT EXISTS `pep/pep2`(`id` INT UNSIGNED AUTO_INCREMENT
本篇文章介绍MySQL数据表合并去重的实现方法 场景: 爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重 解决:(直接举例) 首先创建两个表pep,pep2,其中pep是主表
然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据
将pep2的数据插入pep中
分组去重创建新的临时表tmp
注意:创建完这个表的id字段类型已经不是主键自增
删除pep表,并将tmp表重命名为pep
查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;
还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。 |
2021-06-02
2021-06-05
2022-06-27
2022-10-12
2019-09-11