云数据库 RDS MySQL 版批量插入重复数据的相关内容

文章 2023-02-27 来自：开发者社区

★★ | MySQL | 大批量插入，如何过滤掉重复数据？

线上库有6个表存在重复数据，其中2个表比较大，一个96万+、一个30万+，因为之前处理过相同的问题，就直接拿来了上次的Python去重脚本，脚本很简单，就是连接数据库，查出来重复数据，循环删除。效率嘛，实在是太低了，1秒一条，重复数据大约2万+，预估时间大约在8个小时左右。。。盲目依靠前人的东西，而不去自己思考是有问题的！ ....

文章 2021-12-19 来自：开发者社区

温故而知新知识这个东西，看来真的要温故而知新，一直不用，都要忘记了。业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入。那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率？看来这个问题不止我一个人苦恼过。解决的办法有很多种，不同的场景....

文章 2021-08-10 来自：开发者社区

MySQL 大批量插入，如何过滤掉重复数据？

加班原因是上线，解决线上数据库存在重复数据的问题，发现了程序的bug，很好解决，有点问题的是，修正线上的重复数据。线上库有6个表存在重复数据，其中2个表比较大，一个96万+、一个30万+，因为之前处理过相同的问题，就直接拿来了上次的Python去重脚本，脚本很简单，就是连接数据库，查出来重复数据，循环删除。emmmm，但是这个效率嘛，实在是太低了，1秒一条，重复数据大约2万+，预估时间大约在8个....