老哥们，刚刚碰到个问题想不通，前几次循环都被拒绝了，怎么突然又可以访问百度了。我用continue跳过前几次循环跟用header代理是一样的效果，实在是想不通，是百度的小bug吗？
爬虫循环多次被拒绝突然可以访问
老哥们，刚刚碰到个问题想不通，前几次循环都被拒绝了，怎么突然又可以访问百度了。我用continue跳过前几次循环跟用header代理是一样的效果，实在是想不通，是百度的小bug吗？
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
远方_流浪 2022-05-03 22:24关注是不是请求太频繁了，大部分网站都有频率限制的
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2021-10-02 18:02当`while`循环的条件变为假时，`else`块的代码才会被执行，这在某些情况下可以作为循环正常结束的标志。 这些文件综合起来，构成了Python基础循环语法及应用的全面教程，对于理解Python爬虫中涉及的循环控制至关...
- 2022-03-20 15:03骑着蜗牛ひ追导弹'的博客 文章目录前言一、多进程库（multiprocessing）二、多线程爬虫三、案例实操四、案例解析1、获取网页内容2、获取每一章链接3、获取每一章的正文并返回...如果可以让爬虫同时访问10个页面，就相当于爬取速度提高了10倍..
- 2020-09-20 18:11使用subprocess.Popen时，程序会正常执行并可以定时多次运行。这可能是因为Popen提供了更稳定的执行环境或更少的依赖限制。 总结来说，Python中实现Scrapy定时爬虫可以使用多种方法，包括time模块、sched模块、以及...
- 2021-07-11 21:56穆瑾轩的博客 python爬虫简介 1、基本概念 1.1、什么是爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。随着网络的迅速发展，万维网...
- 2020-11-23 23:15weixin_39728320的博客 原标题：手把手教你用 Python 搞定网页爬虫编译：欧剃作为数据科学家的第一个任务，就是做网页爬取。那时候，我对使用代码从网站上获取数据这项技术完全一无所知，它偏偏又是最有逻辑性并且最容易获得的数据来源。在...
- 2019-02-18 14:50本资源针对“Python循环语句学习大全”，旨在帮助初学者掌握Python的基础及网络爬虫开发中的循环运用。 首先，我们要理解循环语句在编程中的作用。循环语句允许我们重复执行一段代码，直到满足特定条件为止。Python...
- 2020-11-20 20:58weixin_40003780的博客 本篇是 python 爬虫的第三篇，在前面两篇 Python 爬虫第一篇（urllib+regex） 和 Python 爬虫第二篇（urllib+BeautifulSoup） 中介绍了如何获取给定网址的网页信息，并解析其中的内容。本篇将更进一步，根据给定网址...
- 2019-05-09 17:22笑笑布丁的博客 1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python 的线程被限制到同一时刻只允许一个程执行这样一个执行模型。 2.Python 的线程更适用于处理 I/O 和...
- 2023-09-21 09:37小馒头学python的博客 通过使用多线程和多进程，我们可以显著提高网络爬虫的效率，更快地获取大量数据。然而，要小心线程安全问题和进程管理的开销。挑战与创造都是很痛苦的，但是很充实。
- 2022-02-27 12:16彩色的泡沫的博客 程序中模拟多任务 二.多线程的创建 三.主线程与子线程的执行关系 四.查看线程数量 五.线程间的通信（多线程共享全局变量） 六.线程间的资源竞争 互斥锁和死锁 互斥锁 死锁 七.Queue线程 八.生产者和消费者...
- 没有解决我的问题, 去提问
问题事件
系统已结题
5月12日
已采纳回答
5月4日-
创建了问题
5月3日