weixin_40560288
weixin_40560288
采纳率0%
2021-03-08 13:59

急!Python爬虫报错

用Python爬取网页150多个页面时,程序老是报同一个错误:【10053】你的主机中的软件中止了一个已建立的连接! 请问大神怎么解决啊,我多次重新运行程序都不行,且每次报错时正在爬取的页面也不一样

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

3条回答

  • weixin_43582101 考古学家lx 1月前

    有的网站频繁请求是这样的。可能是连接数问题或者是IP被限制问题。

    可以切换ip, 或者是headers 的 ua 。

    另外换成 requests.session 请求,把 keep_alive 设为 False 。

    把headers的 connection 设置为 close。

    增加一下超时时间和重试次数 。

    点赞 评论 复制链接分享
  • songhaixing2 给你骨质唱疏松 1月前

    你是自己写的socket吗

    点赞 评论 复制链接分享
  • weixin_43923141 鲁班8号 15天前

    坐等大佬回答

    点赞 评论 复制链接分享

为你推荐