kuyoro 2022-08-15 11:23 采纳率: 97.3%
浏览 37
已结题

python大数据计算,mysql怎么处理高效?

python 项目,要对A表中的数据进行计算,计算后的数据存放在B表。
A表中有n多行项目,计算模型很复杂,经过计算后B表会产生大概5G的数据,就算脚本是开多线程,但还是受限mysql资源瓶颈,速度还是很慢。
后来想到如果把项目布置在2台电脑,装同样的脚本和数据库,只是第一台电脑计算A表中前一半的行项目,另一台电脑计算A表后一半的行项目,这样,就能比靠一个mysql服务器速度快,然后合并下两个电脑中的B表就好了。
那关键是,怎么合并B表呢,想到的方法是一台电脑B表主键从1开始,另一台电脑从1千万开始,这样主键就不会重复了。

以上纯属个人想法,想了解下以上方法是否可以优化呢?
如果不用两台电脑,不需要拆表最好。
不知道navicat有没有不用修改主键就能合并的功能?

  • 写回答

2条回答

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 系统已结题 8月29日
      • 已采纳回答 8月21日
      • 创建了问题 8月15日

      悬赏问题

      • ¥30 AndroidBench&eMMC内存测试速度&Android
      • ¥15 W10 文件共享失败 怎么解决
      • ¥20 b站私信完整导出的方法
      • ¥15 边界图中的x、y轴解释
      • ¥30 如何用matlab求解复杂方程
      • ¥15 VUE TS中怎么调用第三方js
      • ¥15 Activiti如何将值传入textValue
      • ¥20 在linux里安装lummps时 在make mpi里找不到rpc
      • ¥25 python先到先得调度和轮询调度
      • ¥15 SDK Manager闪退