芳樽里的歌 2018-12-29 11:24 采纳率: 0%
浏览 1400

如何实现python的多个子进程对同一个变量的操作,并保存这种操作的结果?

  1. 问题描述:

假设我现在有一个python对象(pybloom模块实例化后的),名称是bf,它有一个add方法,可以向其中添加元素:bf.add(1)——说明将数字1经过一些运算添加到了bf中了。

现在问题是:我有一百万个元素需要往bf中添加,逐个添加的话,耗时较长,而我windows的CPU是4核的,因此想着创建4个python进程,分别向bf中添加元素,然然后利用pickle模块进行结构化存储,我的代码是这样的:

    from multiprocessing import Pool
    from pybloom import BloomFilter
    import pickle

    #待添加的元素列表
    L = list(range(int(1e6)))

    bf = BloomFilter(2*len(L),0.001)

    def func(i):
        bf.add(i)

    if __name__=='__main__':
        p = Pool(4)
        for i in L:
            p.apply_async(func,args=(i,))
        p.close()
        p.join()
        with open('tmp.bf','wb') as f:
            pickle.dump(bf,f)

但是由于进程间的通信问题,序列化后的bf对象再读入python中并没有达到预期的效果,即并不包含L中的一百万个数字。

求大神指教。

  • 写回答

0条回答

    报告相同问题?

    悬赏问题

    • ¥15 对于相关问题的求解与代码
    • ¥15 ubuntu子系统密码忘记
    • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
    • ¥15 保护模式-系统加载-段寄存器
    • ¥15 电脑桌面设定一个区域禁止鼠标操作
    • ¥15 求NPF226060磁芯的详细资料
    • ¥15 使用R语言marginaleffects包进行边际效应图绘制
    • ¥20 usb设备兼容性问题
    • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊
    • ¥15 安装svn网络有问题怎么办