python批量更新mysql,还要注意避免溢出，处理千万级别的数据

Question

业务场景：1我想要从一张表数据差不多两千万数据量，来获取某一个字段从而批量更新到另外一张表里，有相同的连接字段
2需要在极短的速度将千万数据更新进去，需要使用python来构建脚本，速度在秒级最好
3最好能分批次完成更新，因为数据量大，怕超过MySQL承载

Answer 1

秒级，应该做不到
别说更新了，就说插入操作吧，假设两千万条数据已经加载到内存，现在执行插入操作，也不是几秒就能完成的。哪怕数据很简单，10w每秒也到顶了。
除非你的数据有规律，可以进一步切分，进行多表存储。