kuyoro 2022-08-15 11:23 采纳率: 90.5%
浏览 38
已结题

python大数据计算,mysql怎么处理高效?

python 项目,要对A表中的数据进行计算,计算后的数据存放在B表。
A表中有n多行项目,计算模型很复杂,经过计算后B表会产生大概5G的数据,就算脚本是开多线程,但还是受限mysql资源瓶颈,速度还是很慢。
后来想到如果把项目布置在2台电脑,装同样的脚本和数据库,只是第一台电脑计算A表中前一半的行项目,另一台电脑计算A表后一半的行项目,这样,就能比靠一个mysql服务器速度快,然后合并下两个电脑中的B表就好了。
那关键是,怎么合并B表呢,想到的方法是一台电脑B表主键从1开始,另一台电脑从1千万开始,这样主键就不会重复了。

以上纯属个人想法,想了解下以上方法是否可以优化呢?
如果不用两台电脑,不需要拆表最好。
不知道navicat有没有不用修改主键就能合并的功能?

  • 写回答

2条回答 默认 最新

  • CSDN专家-sinJack 2022-08-15 11:46
    关注

    考虑是不是可以用定时任务去处理。
    合并的话,把第二张表的主键字段(值)去掉,再执行脚本就行。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月29日
  • 已采纳回答 8月21日
  • 创建了问题 8月15日

悬赏问题

  • ¥15 maya的mel里,怎样先选择模型A,然后利用mel脚本自动选择有相同名字的模型B呢。
  • ¥15 Python题,根本不会啊
  • ¥15 Python题,不会啦
  • ¥15 LD衰减结果文件dist的单位?
  • ¥15 Python题,回答一下下啦
  • ¥15 利用Java语言结合数据库实现-个信息管理系统(如学生管理系统、图书管理系统(可以加上借书还书等功能等)或者小游戏
  • ¥15 会会信号与系统和python的来
  • ¥15 关于#python#的问题
  • ¥20 oracle RAC 怎么配置啊,配置
  • ¥15 excel 日常使用中出现问题