taki0 2022-02-11 10:02 采纳率: 97.4%
浏览 38
已结题

爬虫如何判断无数据的话重复当前页面3-5次

程序大概是这样的,range(1,6)是获取数据的1到5页,如果没数据的话url_list就会等于[],能不能判断在那一页失效后,在当前页面重试3到5次连接。

 for i in range(1,6):
    res  = requests.post(url=url,headers=self.headers,data=data)
            page_text = res.text
            tree = etree.HTML(page_text)
            url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
  • 写回答

2条回答 默认 最新

  • bj_0163_bj 2022-02-11 11:29
    关注

    i=1
    j=0
    while i<6:
    res = requests.post(url=url,headers=self.headers,data=data)
    page_text = res.text
    tree = etree.HTML(page_text)
    url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
    if len(url_list)>0 or j>3:
    i=i+1
    j=0
    else:
    j=j+1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 2月11日
  • 已采纳回答 2月11日
  • 创建了问题 2月11日

悬赏问题

  • ¥15 做个有关计算的小程序
  • ¥15 MPI读取tif文件无法正常给各进程分配路径
  • ¥15 如何用MATLAB实现以下三个公式(有相互嵌套)
  • ¥30 关于#算法#的问题:运用EViews第九版本进行一系列计量经济学的时间数列数据回归分析预测问题 求各位帮我解答一下
  • ¥15 setInterval 页面闪烁,怎么解决
  • ¥15 如何让企业微信机器人实现消息汇总整合
  • ¥50 关于#ui#的问题:做yolov8的ui界面出现的问题
  • ¥15 如何用Python爬取各高校教师公开的教育和工作经历
  • ¥15 TLE9879QXA40 电机驱动
  • ¥20 对于工程问题的非线性数学模型进行线性化