kuyoro 2022-08-15 11:23 采纳率: 92.7%
浏览 38
已结题

python大数据计算,mysql怎么处理高效?

python 项目,要对A表中的数据进行计算,计算后的数据存放在B表。
A表中有n多行项目,计算模型很复杂,经过计算后B表会产生大概5G的数据,就算脚本是开多线程,但还是受限mysql资源瓶颈,速度还是很慢。
后来想到如果把项目布置在2台电脑,装同样的脚本和数据库,只是第一台电脑计算A表中前一半的行项目,另一台电脑计算A表后一半的行项目,这样,就能比靠一个mysql服务器速度快,然后合并下两个电脑中的B表就好了。
那关键是,怎么合并B表呢,想到的方法是一台电脑B表主键从1开始,另一台电脑从1千万开始,这样主键就不会重复了。

以上纯属个人想法,想了解下以上方法是否可以优化呢?
如果不用两台电脑,不需要拆表最好。
不知道navicat有没有不用修改主键就能合并的功能?

  • 写回答

2条回答 默认 最新

  • CSDN专家-sinJack 2022-08-15 11:46
    关注

    考虑是不是可以用定时任务去处理。
    合并的话,把第二张表的主键字段(值)去掉,再执行脚本就行。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月29日
  • 已采纳回答 8月21日
  • 创建了问题 8月15日

悬赏问题

  • ¥170 如图所示配置eNSP
  • ¥20 docker里部署springboot项目,访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏!微信开发者工具报错,求帮改
  • ¥20 wireshark抓不到vlan
  • ¥20 关于#stm32#的问题:需要指导自动酸碱滴定仪的原理图程序代码及仿真
  • ¥20 设计一款异域新娘的视频相亲软件需要哪些技术支持
  • ¥15 stata安慰剂检验作图但是真实值不出现在图上
  • ¥15 c程序不知道为什么得不到结果
  • ¥15 键盘指令混乱情况下的启动盘系统重装