- 问题描述:
假设我现在有一个python对象(pybloom模块实例化后的),名称是bf,它有一个add方法,可以向其中添加元素:bf.add(1)——说明将数字1经过一些运算添加到了bf中了。
现在问题是:我有一百万个元素需要往bf中添加,逐个添加的话,耗时较长,而我windows的CPU是4核的,因此想着创建4个python进程,分别向bf中添加元素,然然后利用pickle模块进行结构化存储,我的代码是这样的:
from multiprocessing import Pool
from pybloom import BloomFilter
import pickle
#待添加的元素列表
L = list(range(int(1e6)))
bf = BloomFilter(2*len(L),0.001)
def func(i):
bf.add(i)
if __name__=='__main__':
p = Pool(4)
for i in L:
p.apply_async(func,args=(i,))
p.close()
p.join()
with open('tmp.bf','wb') as f:
pickle.dump(bf,f)
但是由于进程间的通信问题,序列化后的bf对象再读入python中并没有达到预期的效果,即并不包含L中的一百万个数字。
求大神指教。