我编写了个小爬虫程序,用了多线程,结果一直没调试成功,不加 join ,最后的爬虫线程不会被执行(设了线程守护也没用)
一加 join 命令线程就被卡住,在爬虫方法中设断点,发现在方法第二行时就卡住了,线程方法也没有访问其他资源的,只是简单的抓取网页内容
给上代码片断,大佬们帮我看看:
list=[数据列表]
while len(list) > 0:
t=[]
for i in range(10):
if len(list) > 0:
data=list[0]#取第一条数据
list.pop(0)#从列表中删除已取到的数据
t.append( 线程方法类(data) )
t.daemon=False
for f in t:
f.start()
#不加下面语句,最后一轮的线程方法不被执行??
#加下面语句,第一个线程直接卡死,主程序也卡死
for f in t:
f.join()
大佬们知道哪出了问题不