SQL 海量重复数据如何高效的删除

MYSQL里有几百万数据，但大多是重复的，真实的就180万，所以清除是很有必要的。这是一个高效的处理方式，用这个方式，几百万数据，十来分钟就全部去除重复了，请各位参考。

操作方法

  • 01

    第一步：从百万万数据表abc_123_1里提取出不重复的字段SFZHM对应的ID字段到TMP3表(可以对应的更改） 代码如下： create table tmp3 as select min(id) as col1 from abc_123_1 group by SFZHM;

  • 02

    第二步：创建新表RES 代码如下： CREATE TABLE `res` ( `id` int(11), `sfz` char(20) ) ENGINE=MyISAM; （数据可以对应的进行更改！）

  • 03

    第三步：把TMP3表ID对应到abc_123_1里需要提取的数据添加到RES表的SFZ字段 代码如下： INSERT INTO res (sfz) SELECT sfzhm FROM abc_123_1,tmp3 where data_content_152.id=tmp3.col1 （数据可以对应的进行更改！）

  • 04

    至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。

赞 (0)

相关推荐

  • 表格中怎么批量删除重复数据（怎样快速删除电子表格里的重复内容）

    表格中怎么批量删除重复数据（怎样快速删除电子表格里的重复内容）

    表格中怎么批量删除重复数据（怎样快速删除电子表格里的重复内容）

  • 如何在Excel2007中快速找出并删除重复数据

    一.找出重复数据 1.打开制作好的Excel表格,选中需要筛选重复数据的单元格区域. 2.单击"开始"-"样式"-"条件格式"按钮,在弹出的 ...

  • Wps表格怎么筛选出重复数据并且删除重复数据

    Excel表格是非常强大的,强大到现在都没有人能全部掌握,小编到现在也只是初学者,这次小编就分享一下excel怎么筛选出重复的数据,而且是分享wps的表格,毕竟现在常用的都是wps的,希望能给大家帮助 ...

  • 在Excel2007中如何找出重复数据

    我们可能经常需要在Excel表格中找出重复数据并将他们删除，如果数据庞大，那么我们根本不好找出重复数据的。不过这里Word联盟教大家一个好方法，可以帮你快突显并找到重复数据。 你可以将重复的数据突出显 ...

  • Excel2007中怎样找出重复数据

    你可能经常需要在 Excel 表格中找出重复数据并删除它们，在一大堆数据中人工找不太现实。下面教两条小方法，帮你处理重复数据。 方法 1：突出显示重复数据 你可以将重复的数据突出显示，这样你就可以找到 ...

  • sql 如何删除重复数据

    有时候我们在使用sql数据库的时候,想去掉重复数据,怎么去掉呢,下面来分享一下方法 操作方法 01 第一步在我们的电脑上打开要去掉重复数据的数据库,这里新建一张含有重复数据的user表做示例,如下图所 ...

  • 在Excel2003/2007中删除重复数据.重复行的图文方法介绍

    大家在使用Excel表格总汇大批量数据时，难免会发现一些重复行和重复数据，这时我们就应该将那些重复的数据删除，以免会影响我们的工作，在Excel中删除重复数据和重复行的方法有N多，针对Excel200 ...

  • Excel2003/2007中删除重复数据

    大家在使用Excel表格总汇大批量数据时，难免会发现一些重复行和重复数据，这时我们就应该将那些重复的数据删除，以免会影响我们的工作，在Excel中删除重复数据和重复行的方法有N多，Excel2003删 ...

  • 快速检索 轻松查找删除重复数据

    由于重复输入或粘贴等原因，Excel 2007工作表往往存在重复的数据或记录。如果工作表的规模比较大，手工查找和删除重复数据很难做到“完全彻底”。不过这个问题对Excel 2007来说则是“小菜一碟” ...