Edward_LN 2022-01-28 16:06 采纳率: 100%
浏览 28
已结题

python调用多个外部CPU计算密集型的程序,如何实现并行处理

有大概1000个左右的bat文件,都是一些CPU计算密集型的CFD仿真计算程序,每个bat运行时间大概5分钟左右。现在想用python调用这些bat文件,通过并行计算尽可能得减少总计算时间。

刚接触并行计算,已经尝试过subprocess.Popen()直接调用,但是这个方法好像不能决定每次并行的进程数量,所以下边的代码会让电脑直接崩溃。
想问下代码该怎么写?或者说使用哪个模块比较好

import subprocess
for i in range(999):
    subprocess.Popen('test_{}.bat'.format(i))
  • 写回答

2条回答 默认 最新

  • _GX_ 2022-01-28 16:28
    关注
    import multiprocessing
    import subprocess
    
    def f(x):
        subprocess.Popen('test_{}.bat'.format(x))
    
    with multiprocessing.Pool(processes=4) as pool:
        pool.map(f, range(999))
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 2月5日
  • 已采纳回答 1月28日
  • 创建了问题 1月28日