python使用requests大批量请求卡住怎么解决？

Question

我用python的request抓取别人网站抓了几100条左右就卡死了是什么情况？

page=request.GET.get('page')
    for pages in range(1,int(page)+1):
        data = requests.get("http://okokzy.cc/?m=vod-type-id-1-pg-"+str(pages)+".html")
        data.encoding = "utf-8"
        data = data.text
        data = etree.HTML(data)
        name = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/text()")
        link = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/@href")
        listcode = 0
                print(link)

没有任何报错也没有发现任何异常就是打印出来的东西打印到某一条到时候就不动了

Answer 1

首先你的request最好设置一下超时，如果某个链接长时间没响应，你就会阻塞在那里；然后得百分百确认你的xpath是正确的，且是匹配里面所有url的，这个地方可以打个日志，看看是阻塞在某次循环了，还是xpath没有解析到数据