weixin_55502898 2022-06-24 16:17 采纳率: 60%
浏览 73
已结题

python爬虫如何发送请求直到服务器响应为止呢？

有一个需求，爬取一般的网站 直接requestes.get（url）就可以获取响应，目前我遇到的问题是我的目标服务器非常的不稳定，有时候的请求会直接报502网关错误（网页正常访问也会出现这个问题），我拿到了要请求的所有地址，使用异步的方法挨个请求，如何让其遇到错误之后继续请求，直到返回正常的数据回来，而不是遇到了一个错误之后的请求都不执行了。

  • 写回答

2条回答 默认 最新

  • z60015260 2022-06-24 16:27
    关注

    你可以加判断， 正常响应是200， 返回其他的你继续请求

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 7月3日
  • 已采纳回答 6月25日
  • 创建了问题 6月24日

悬赏问题

  • ¥50 有偿求qftp工具。能连接，下载文件，发送代码，windows环境，最好qt6 要qt creator写的
  • ¥70 刚刚看到一个人的网站居然是通过cname访问的
  • ¥15 Attributeerror:super object has no attribute '__sklearn_tags__'_'
  • ¥15 逆置单链表输出不完整
  • ¥15 宇视vms-B200-A16@R启动不了，如下图所示，在软件工具搜不到，如何解决？(操作系统-linux)
  • ¥500 寻找一名电子工程师完成pcb主板设计（拒绝AI生成式答案）
  • ¥15 关于#mysql#的问题：UNION ALL（相关搜索：sql语句）
  • ¥15 matlab二位可视化能否针对不同数值范围分开分级？
  • ¥15 已经创建了模拟器但是不能用来运行app 怎么办😭自己搞两天了
  • ¥15 关于#极限编程#的问题，请各位专家解答！