想请教下,我有一个函数,该函数是遍历文件夹下的所有文件进行处理的。。但是实际上这些文件的处理是可以并行的。。因此,我考虑是将文件事先进行分割,然后同时调用该函数,以提升速度。。
不知道这样的话,应该是用多线程,还是协程,亦或是多进程呢??
想请教下,我有一个函数,该函数是遍历文件夹下的所有文件进行处理的。。但是实际上这些文件的处理是可以并行的。。因此,我考虑是将文件事先进行分割,然后同时调用该函数,以提升速度。。
不知道这样的话,应该是用多线程,还是协程,亦或是多进程呢??
收起
建议使用多进程。
python有全局锁,多线程和协程对于异步io效果比较明显,对于cpu密集的处理反而会慢
报告相同问题?