萤火与星 2016-11-26 10:22 采纳率: 0%
浏览 40458

求助 python爬虫 requests的get出现10054错误 远程主机强迫关闭了一个现有的连接

这个爬的是智联的招聘信息,在爬了上千条数据后就容易出现这个错误。

Traceback (most recent call last):
File "G:/python/zhilian_crawler/crawler3.py", line 284, in
get_more_page(1,91)
File "G:/python/zhilian_crawler/crawler3.py", line 170, in get_more_page
get_page(url+str(one))
File "G:/python/zhilian_crawler/crawler3.py", line 28, in get_page
get_more_data(soup)
File "G:/python/zhilian_crawler/crawler3.py", line 159, in get_more_data
webData=requests.get(url0)
File "D:\Python3\lib\requests\api.py", line 70, in get
return request('get', url, params=params, **kwargs)
File "D:\Python3\lib\requests\api.py", line 56, in request
return session.request(method=method, url=url, **kwargs)
File "D:\Python3\lib\requests\sessions.py", line 475, in request
resp = self.send(prep, **send_kwargs)
File "D:\Python3\lib\requests\sessions.py", line 596, in send
r = adapter.send(request, **kwargs)
File "D:\Python3\lib\requests\adapters.py", line 473, in send
raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

  • 写回答

5条回答 默认 最新

  • assange_h 2017-03-01 00:46
    关注

    1、head中有一个user-agent每次都换不同的模拟代理
    2、测试最大访问时间短,每秒多少次请求会出现中断,然后sleep(200)毫秒
    2、每次请求中断上一次链接,keep-live=false
    试试看,
    不然就是换IP访问

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题