怎样实现多个爬取进程同时进行,并且实现进程通信,防止重复爬取
收起
当前问题酬金
¥ 0 (可追加 ¥500)
支付方式
扫码支付
支付金额 15 元
提供问题酬金的用户不参与问题酬金结算和分配
支付即为同意 《付费问题酬金结算规则》
scrapy本身就支持分布式https://doc.scrapy.org/en/latest/topics/practices.html#distributed-crawls
http://stackoverflow.com/questions/5715217/mix-python-twisted-with-multiprocessing
报告相同问题?