weixin_55502898 2022-06-24 16:17 采纳率: 75%
浏览 72
已结题

python爬虫如何发送请求直到服务器响应为止呢?

有一个需求,爬取一般的网站 直接requestes.get(url)就可以获取响应,目前我遇到的问题是我的目标服务器非常的不稳定,有时候的请求会直接报502网关错误(网页正常访问也会出现这个问题),我拿到了要请求的所有地址,使用异步的方法挨个请求,如何让其遇到错误之后继续请求,直到返回正常的数据回来,而不是遇到了一个错误之后的请求都不执行了。

  • 写回答

2条回答 默认 最新

  • z60015260 2022-06-24 16:27
    关注

    你可以加判断, 正常响应是200, 返回其他的你继续请求

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 7月3日
  • 已采纳回答 6月25日
  • 创建了问题 6月24日

悬赏问题

  • ¥15 随身WiFi网络灯亮但是没有网络,如何解决?
  • ¥15 gdf格式的脑电数据如何处理matlab
  • ¥20 重新写的代码替换了之后运行hbuliderx就这样了
  • ¥100 监控抖音用户作品更新可以微信公众号提醒
  • ¥15 UE5 如何可以不渲染HDRIBackdrop背景
  • ¥70 2048小游戏毕设项目
  • ¥20 mysql架构,按照姓名分表
  • ¥15 MATLAB实现区间[a,b]上的Gauss-Legendre积分
  • ¥15 delphi webbrowser组件网页下拉菜单自动选择问题
  • ¥15 linux驱动,linux应用,多线程