萧潇墨
2019-01-29 16:24
采纳率: 75%
浏览 6.4k
已采纳

python使用requests大批量请求卡住怎么解决?

我用python的request抓取别人网站抓了几100条左右就卡死了是什么情况?

page=request.GET.get('page')
    for pages in range(1,int(page)+1):
        data = requests.get("http://okokzy.cc/?m=vod-type-id-1-pg-"+str(pages)+".html")
        data.encoding = "utf-8"
        data = data.text
        data = etree.HTML(data)
        name = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/text()")
        link = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/@href")
        listcode = 0
                print(link)

没有任何报错也没有发现任何异常就是打印出来的东西打印到某一条到时候就不动了

  • 写回答
  • 好问题 提建议
  • 追加酬金
  • 关注问题
  • 邀请回答

6条回答 默认 最新

相关推荐 更多相似问题