如何实现python的多个子进程对同一个变量的操作,并保存这种操作的结果?
  1. 问题描述:

假设我现在有一个python对象(pybloom模块实例化后的),名称是bf,它有一个add方法,可以向其中添加元素:bf.add(1)——说明将数字1经过一些运算添加到了bf中了。

现在问题是:我有一百万个元素需要往bf中添加,逐个添加的话,耗时较长,而我windows的CPU是4核的,因此想着创建4个python进程,分别向bf中添加元素,然然后利用pickle模块进行结构化存储,我的代码是这样的:

    from multiprocessing import Pool
    from pybloom import BloomFilter
    import pickle

    #待添加的元素列表
    L = list(range(int(1e6)))

    bf = BloomFilter(2*len(L),0.001)

    def func(i):
        bf.add(i)

    if __name__=='__main__':
        p = Pool(4)
        for i in L:
            p.apply_async(func,args=(i,))
        p.close()
        p.join()
        with open('tmp.bf','wb') as f:
            pickle.dump(bf,f)

但是由于进程间的通信问题,序列化后的bf对象再读入python中并没有达到预期的效果,即并不包含L中的一百万个数字。

求大神指教。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐