重庆瓜皮王 2022-05-03 22:12 采纳率: 87.5%
浏览 41
已结题

爬虫循环多次被拒绝突然可以访问

img


老哥们，刚刚碰到个问题想不通，前几次循环都被拒绝了，怎么突然又可以访问百度了。我用continue跳过前几次循环跟用header代理是一样的效果，实在是想不通，是百度的小bug吗？

  • 写回答

3条回答 默认 最新

  • 远方_流浪 2022-05-03 22:24
    关注

    是不是请求太频繁了，大部分网站都有频率限制的

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

  • python爬虫如何用for循环翻页 python 有问必答
    2021-07-04 16:59
    回答 3 已采纳 重点还是从网页上分析翻页的网址构造情况，即baseurl及请求的url要写准确,另外可能需要补充一些请求参数。
  • 我的python爬虫的循环遍历为什么报错？ python 爬虫
    2023-01-17 13:25
    回答 5 已采纳 你把res打印出来看下。应该是request.get方法没有获取到数据，或者获取的数据格式和你想要的不一致，所以报错了。如果是获取的数据不对，检查下您的请求参数是否正确。
  • python爬虫怎么改成多线程 python 爬虫
    2022-04-29 12:58
    回答 6 已采纳 楼上的这些线程改造方式放在这里行不通吧。楼主代码中IO操作在循环的地方，这里线程不是应该将循环改成多线程吗。。。##改了一个循环，试一下 ```python import parsel impor
  • 03-循环_shuttsp_python爬虫_
    2021-10-02 18:02
    当`while`循环的条件变为假时，`else`块的代码才会被执行，这在某些情况下可以作为循环正常结束的标志。 这些文件综合起来，构成了Python基础循环语法及应用的全面教程，对于理解Python爬虫中涉及的循环控制至关...
  • 关于python 爬虫 项目 多线程的问题！ python 有问必答 爬虫
    2022-04-09 22:19
    回答 2 已采纳 用pypy,namba（需重构，加装饰器）,cython（需重构，显式声明类型）用正则表达式更快，但适用性会降低灵活运用异步减少中间值的使用少用for循环控制线程数量，考虑协程、多进程，因为有GIL的
  • python网络爬虫访问httpbin flask python 爬虫
    2022-04-10 22:54
    回答 1 已采纳 import requests print(requests.get('http://httpbin.org/get').json()) 服务器在漂亮国
  • 爬虫模拟登陆时discuz论坛拒绝访问 python 开发语言 有问必答
    2022-10-12 16:21
    回答 2 已采纳 所有请求都要使用session这个变量，而不是另外requests发送，要不不是同一个会话下的请求 requests.session()会话保持_Danker01的博客-
  • pyThon爬虫多进程报错 python
    2022-10-05 08:14
    回答 3 已采纳 带插件的浏览器，一个配置文件只能打开一个浏览器。想要多进程，需要有多个浏览器配置文件。利用生成器输出配置文件路径，避免多进程用到同一个路径。进程不能太多，不然程序会在某一个进程中卡死不动……没有具体的
  • python爬虫问题求解 python 爬虫
    2022-04-29 11:12
    回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
  • 关于使用python实现的网页爬虫程序卡死的问题 python 有问必答 爬虫
    2021-08-07 13:04
    回答 3 已采纳 你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
  • 【Python 爬虫】多线程爬取
    2022-03-20 15:03
    骑着蜗牛ひ追导弹'的博客 文章目录前言一、多进程库（multiprocessing）二、多线程爬虫三、案例实操四、案例解析1、获取网页内容2、获取每一章链接3、获取每一章的正文并返回...如果可以让爬虫同时访问10个页面，就相当于爬取速度提高了10倍..
  • 浅析python实现scrapy定时执行爬虫
    2020-09-20 18:11
    使用subprocess.Popen时，程序会正常执行并可以定时多次运行。这可能是因为Popen提供了更稳定的执行环境或更少的依赖限制。 总结来说，Python中实现Scrapy定时爬虫可以使用多种方法，包括time模块、sched模块、以及...
  • Python-数据爬取（爬虫）
    2024-07-12 17:01
    .房东的猫的博客 定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，...在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
  • python网页爬虫循环获取_手把手教你用 Python 搞定网页爬虫
    2020-11-23 23:15
    weixin_39728320的博客 原标题：手把手教你用 Python 搞定网页爬虫编译：欧剃作为数据科学家的第一个任务，就是做网页爬取。那时候，我对使用代码从网站上获取数据这项技术完全一无所知，它偏偏又是最有逻辑性并且最容易获得的数据来源。在...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 5月12日
  • 已采纳回答 5月4日
  • 创建了问题 5月3日

悬赏问题

  • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
  • ¥30 c#打开word开启修订并实时显示批注
  • ¥15 如何解决ldsc的这条报错/index error
  • ¥15 VS2022+WDK驱动开发环境
  • ¥30 关于#java#的问题，请各位专家解答！
  • ¥30 vue+element根据数据循环生成多个table，如何实现最后一列 平均分合并
  • ¥20 pcf8563时钟芯片不启振
  • ¥20 pip2.40更新pip2.43时报错
  • ¥15 换yum源但仍然用不了httpd
  • ¥50 C# 使用DEVMOD设置打印机首选项