kuyoro 2022-08-15 11:23 采纳率: 90.5%
浏览 38
已结题

python大数据计算,mysql怎么处理高效?

python 项目,要对A表中的数据进行计算,计算后的数据存放在B表。
A表中有n多行项目,计算模型很复杂,经过计算后B表会产生大概5G的数据,就算脚本是开多线程,但还是受限mysql资源瓶颈,速度还是很慢。
后来想到如果把项目布置在2台电脑,装同样的脚本和数据库,只是第一台电脑计算A表中前一半的行项目,另一台电脑计算A表后一半的行项目,这样,就能比靠一个mysql服务器速度快,然后合并下两个电脑中的B表就好了。
那关键是,怎么合并B表呢,想到的方法是一台电脑B表主键从1开始,另一台电脑从1千万开始,这样主键就不会重复了。

以上纯属个人想法,想了解下以上方法是否可以优化呢?
如果不用两台电脑,不需要拆表最好。
不知道navicat有没有不用修改主键就能合并的功能?

  • 写回答

2条回答 默认 最新

  • CSDN专家-sinJack 2022-08-15 11:46
    关注

    考虑是不是可以用定时任务去处理。
    合并的话,把第二张表的主键字段(值)去掉,再执行脚本就行。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月29日
  • 已采纳回答 8月21日
  • 创建了问题 8月15日

悬赏问题

  • ¥15 在若依框架下实现人脸识别
  • ¥15 网络科学导论,网络控制
  • ¥100 安卓tv程序连接SQLSERVER2008问题
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同