taki0 2022-02-11 10:02 采纳率: 97.4%
浏览 38
已结题

爬虫如何判断无数据的话重复当前页面3-5次

程序大概是这样的,range(1,6)是获取数据的1到5页,如果没数据的话url_list就会等于[],能不能判断在那一页失效后,在当前页面重试3到5次连接。

 for i in range(1,6):
    res  = requests.post(url=url,headers=self.headers,data=data)
            page_text = res.text
            tree = etree.HTML(page_text)
            url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
  • 写回答

2条回答 默认 最新

  • bj_0163_bj 2022-02-11 11:29
    关注

    i=1
    j=0
    while i<6:
    res = requests.post(url=url,headers=self.headers,data=data)
    page_text = res.text
    tree = etree.HTML(page_text)
    url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
    if len(url_list)>0 or j>3:
    i=i+1
    j=0
    else:
    j=j+1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 2月11日
  • 已采纳回答 2月11日
  • 创建了问题 2月11日

悬赏问题

  • ¥15 虚幻5 UE美术毛发渲染
  • ¥15 CVRP 图论 物流运输优化
  • ¥15 Tableau online 嵌入ppt失败
  • ¥100 支付宝网页转账系统不识别账号
  • ¥15 基于单片机的靶位控制系统
  • ¥15 真我手机蓝牙传输进度消息被关闭了,怎么打开?(关键词-消息通知)
  • ¥15 装 pytorch 的时候出了好多问题,遇到这种情况怎么处理?
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线,如何释放宽带全部速度
  • ¥30 关于#r语言#的问题:如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测