Python multiprocessing Queue为什么判断队列一直是空的呢？

Question

使用while not url_queue.empty()，不会执行，用IF判断后发现url_queue一直为空，.empty()为TRUE，
而使用while True，虽然能够开始运行，但是执行完毕，队列空了后会卡住不会自动结束

Answer 1

在使用 multiprocessing.Queue 时，队列是在不同进程中共享的。如果您在一个进程中检查队列是否为空，而在另一个进程中将元素添加到队列中，则可能会出现队列被认为是空的情况。

队列是空的，原因可能是你的生产者线程已经结束并将所有的数据放入队列了，而消费者线程还没有消费完。

为了避免这种情况，您可以使用 Queue 类中的 join() 方法，它将阻塞直到队列中的所有元素都被消费。

url_queue.join()

您还可以使用 task_done() 方法来通知队列已经完成了某个任务。在消费者线程中，每当它处理完队列中的一个元素时，都应该调用 task_done()。

while not url_queue.empty():
    url = url_queue.get()
    process_url(url)
    url_queue.task_done()

这样生产者线程在放入一个元素后会调用 put(),消费者线程在消费一个元素后会调用 task_done()，这样就能检测队列中元素是否全部被消费。