kuyoro 2022-08-15 11:23 采纳率: 90.5%
浏览 38
已结题

python大数据计算,mysql怎么处理高效?

python 项目,要对A表中的数据进行计算,计算后的数据存放在B表。
A表中有n多行项目,计算模型很复杂,经过计算后B表会产生大概5G的数据,就算脚本是开多线程,但还是受限mysql资源瓶颈,速度还是很慢。
后来想到如果把项目布置在2台电脑,装同样的脚本和数据库,只是第一台电脑计算A表中前一半的行项目,另一台电脑计算A表后一半的行项目,这样,就能比靠一个mysql服务器速度快,然后合并下两个电脑中的B表就好了。
那关键是,怎么合并B表呢,想到的方法是一台电脑B表主键从1开始,另一台电脑从1千万开始,这样主键就不会重复了。

以上纯属个人想法,想了解下以上方法是否可以优化呢?
如果不用两台电脑,不需要拆表最好。
不知道navicat有没有不用修改主键就能合并的功能?

  • 写回答

2条回答 默认 最新

  • CSDN专家-sinJack 2022-08-15 11:46
    关注

    考虑是不是可以用定时任务去处理。
    合并的话,把第二张表的主键字段(值)去掉,再执行脚本就行。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月29日
  • 已采纳回答 8月21日
  • 创建了问题 8月15日

悬赏问题

  • ¥50 adb连接不到手机是怎么回事?
  • ¥15 vs2022无法联网
  • ¥15 TCP的客户端和服务器的互联
  • ¥15 VB.NET操作免驱摄像头
  • ¥15 笔记本上移动热点开关状态查询
  • ¥85 类鸟群Boids——仿真鸟群避障的相关问题
  • ¥15 CFEDEM自带算例错误,如何解决?
  • ¥15 有没有会使用flac3d软件的家人
  • ¥20 360摄像头无法解绑使用,请教解绑当前账号绑定问题,
  • ¥15 docker实践项目