python多进程问题，怎样实现多进程使用同一队列并且不重复访问

现在有一个链接库，我想同时开启多个进程来访问链接爬取信息，怎样使各个进程之间知道已经访问和未访问的，不重复访问

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
oyljerry 2017-02-09 13:09
关注
用进程间的Queue。http://m.blog.csdn.net/article/details?id=44856489

解决
无用 1
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python 多进程消息队列问题 python
2021-08-22 10:18

回答 1 已采纳进程间使用队列通讯时，队列应作为进程函数的参数传递进去。另外，子进程通常要设置进程守护。 from multiprocessing import Process, Queue q = Queue()
Python多进程队列怎么使用呢？需要共同执行而不是同时执行清单内容 python
2021-11-26 16:05

回答 1 已采纳你12个网站对应12个url，你把url放进list里，循环丢给进程因为你进程只开了4个，所以有进程执行完毕了，队列里会自动有新进程开始执行，直到队列变空你现在这样给每个进程分配一样的任务，循环去访问
python多进程问题，一个进程退出后其他进程也退出 python
2020-07-22 18:15

回答 2 已采纳两个办法，一个是退出的进程关闭其它进程一个是其它进程轮询主进程是否存在，不存在的话自己退出
python多进程访问多个摄像头
2020-12-20 19:16

import numpy as np import cv2 import multiprocessing ...# 不同进程不能共享内存，定义队列进行进程通信 q = Queue() def video_read(id): camera_id = id #使用笔记本自带的摄像头 if camera_id == 0: ca
Python多进程输出问题 python
2022-05-13 19:24

回答 1 已采纳就因为你这里是多进程呀，你这里起了3个进程，而进程间是不共享全局变量的：data_frame所以对于每个进程都是从count为4开始的。
请教 python多个子进程如何共用一个全局变量？ python
2021-09-22 07:21

回答 1 已采纳那你就应该用20个线程，而不是20个进程，进程不是这么玩的。你非要进程之间通信，那只能另开一个tcp服务，然后20个进程跟它通信；或者共享文件，或者共同连接同一个数据库，总之都是会占用IO，跟你并行计
请教python调用multiprocessing使用多进程修改全局变量问题 python
2020-05-12 18:08

回答 1 已采纳 https://blog.csdn.net/sinat_35360663/article/details/78328380?locationNum=8&fps=1
python 多进程队列数据处理详解
2020-09-18 06:08

今天小编就为大家分享一篇python 多进程队列数据处理详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python多进程里面可以访问UI组件吗？ python qt
2021-12-17 17:07

回答 2 已采纳可以设置信号传参，但不能修改ui
Python多进程修改共享变量的问题 python
2020-04-25 19:46

回答 4 已采纳多线程共享变量一般这么写： ``` from multiprocessing import freeze_support,Lock,Process,Value import time cn
Python多进程问题的报错问题 python
2019-12-09 11:11

回答 1 已采纳 multiprocessing.Process 写错了方法一：target=函数加()的话，在创建的时候就调用了函数，就不用调用start()方法 ``` p1=multiprocessing
python实现通过队列完成进程间的多任务功能示例
2021-01-02 19:04

本文实例讲述了python实现通过队列完成进程间的多任务功能。分享给大家供大家参考，具体如下： 1.通过队列完成进程间的多任务 import multiprocessing def download_data(q): 下载数据 # 模拟从网上下载数据 ...
通过Python multiprocessing库的Pool进程池实现多进程并等待所有进程执行完毕的问题 python
2022-11-11 11:37

回答 5 已采纳看例子，用队列来实现，监测每个子进程的执行完成状态，子进程执行完成后入队： import subprocess as sp import multiprocessing as mp import ti
python多进程主进程和子进程间共享和不共享全局变量实例
2020-12-20 19:40

Python 多进程默认不能共享全局变量主进程与子进程是并发执行的，进程之间默认是不能共享全局变量的(子进程不能改变主进程中全局变量的值)。如果要共享全局变量需要用（multiprocessing.Value(“d”,10.0)，数值）...
浅谈Python 多进程默认不能共享全局变量的问题
2020-12-25 02:57

主进程与子进程是并发执行的，进程之间默认是不能共享全局变量的(子进程不能改变主进程中全局...进程通信（进程之间传递数据）用进程队列（multiprocessing.Queue()，单向通信），管道（ multiprocessing.Pipe() ，双
没有解决我的问题, 去提问

悬赏问题

¥15 如何在scanpy上做差异基因和通路富集？
¥20 关于#硬件工程#的问题，请各位专家解答！
¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
¥30 截图中的mathematics程序转换成matlab
¥15 动力学代码报错，维度不匹配
¥15 Power query添加列问题
¥50 Kubernetes&Fission&Eleasticsearch
¥15 報錯：Person is not mapped，如何解決？
¥15 c++头文件不能识别CDialog