芳樽里的歌 2018-12-29 11:24 采纳率: 0%
浏览 1400

如何实现python的多个子进程对同一个变量的操作,并保存这种操作的结果?

  1. 问题描述:

假设我现在有一个python对象(pybloom模块实例化后的),名称是bf,它有一个add方法,可以向其中添加元素:bf.add(1)——说明将数字1经过一些运算添加到了bf中了。

现在问题是:我有一百万个元素需要往bf中添加,逐个添加的话,耗时较长,而我windows的CPU是4核的,因此想着创建4个python进程,分别向bf中添加元素,然然后利用pickle模块进行结构化存储,我的代码是这样的:

    from multiprocessing import Pool
    from pybloom import BloomFilter
    import pickle

    #待添加的元素列表
    L = list(range(int(1e6)))

    bf = BloomFilter(2*len(L),0.001)

    def func(i):
        bf.add(i)

    if __name__=='__main__':
        p = Pool(4)
        for i in L:
            p.apply_async(func,args=(i,))
        p.close()
        p.join()
        with open('tmp.bf','wb') as f:
            pickle.dump(bf,f)

但是由于进程间的通信问题,序列化后的bf对象再读入python中并没有达到预期的效果,即并不包含L中的一百万个数字。

求大神指教。

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥15 高德地图点聚合中Marker的位置无法实时更新
    • ¥15 DIFY API Endpoint 问题。
    • ¥20 sub地址DHCP问题
    • ¥15 delta降尺度计算的一些细节,有偿
    • ¥15 Arduino红外遥控代码有问题
    • ¥15 数值计算离散正交多项式
    • ¥30 数值计算均差系数编程
    • ¥15 redis-full-check比较 两个集群的数据出错
    • ¥15 Matlab编程问题
    • ¥15 训练的多模态特征融合模型准确度很低怎么办