有一个需求,我这里有100万条数据,数据库里也有差不多的100万数据.
将我手里的100万条数据覆盖到数据库里.
现在的思路是: 100万条数据每100条进行处理,取出100万条的id,通过id删除掉这100条数据,再将这100条添加到数据库中.但是MySQL的cpu占用率非常高.
因为还有其他用户会使用里面的数据,所以不能直接将数据库中的100万条数据直接全部删除再一点点的添加.
大家有什么好想法嘛
有一个需求,我这里有100万条数据,数据库里也有差不多的100万数据.
将我手里的100万条数据覆盖到数据库里.
现在的思路是: 100万条数据每100条进行处理,取出100万条的id,通过id删除掉这100条数据,再将这100条添加到数据库中.但是MySQL的cpu占用率非常高.
因为还有其他用户会使用里面的数据,所以不能直接将数据库中的100万条数据直接全部删除再一点点的添加.
大家有什么好想法嘛
你看看这样行不行:取出数据库的ID与你的数据集的ID,删除数据库中与你的数据集差异部分数据,后插入数据集中不同于数据库的部分。有其他用户的话先把数据库同步出来到你的测试数据库,弄好了空闲时再同步回去?