萤火与星 2016-11-26 10:22 采纳率: 0%
浏览 40459

求助 python爬虫 requests的get出现10054错误 远程主机强迫关闭了一个现有的连接

这个爬的是智联的招聘信息,在爬了上千条数据后就容易出现这个错误。

Traceback (most recent call last):
File "G:/python/zhilian_crawler/crawler3.py", line 284, in
get_more_page(1,91)
File "G:/python/zhilian_crawler/crawler3.py", line 170, in get_more_page
get_page(url+str(one))
File "G:/python/zhilian_crawler/crawler3.py", line 28, in get_page
get_more_data(soup)
File "G:/python/zhilian_crawler/crawler3.py", line 159, in get_more_data
webData=requests.get(url0)
File "D:\Python3\lib\requests\api.py", line 70, in get
return request('get', url, params=params, **kwargs)
File "D:\Python3\lib\requests\api.py", line 56, in request
return session.request(method=method, url=url, **kwargs)
File "D:\Python3\lib\requests\sessions.py", line 475, in request
resp = self.send(prep, **send_kwargs)
File "D:\Python3\lib\requests\sessions.py", line 596, in send
r = adapter.send(request, **kwargs)
File "D:\Python3\lib\requests\adapters.py", line 473, in send
raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

  • 写回答

5条回答

  • assange_h 2017-03-01 00:46
    关注

    1、head中有一个user-agent每次都换不同的模拟代理
    2、测试最大访问时间短,每秒多少次请求会出现中断,然后sleep(200)毫秒
    2、每次请求中断上一次链接,keep-live=false
    试试看,
    不然就是换IP访问

    评论

报告相同问题?

悬赏问题

  • ¥15 数学的三元一次方程求解
  • ¥20 iqoo11 如何下载安装工程模式
  • ¥15 本题的答案是不是有问题
  • ¥15 关于#r语言#的问题:(svydesign)为什么在一个大的数据集中抽取了一个小数据集
  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 蓝桥杯单片机第十三届第一场,整点继电器吸合,5s后断开出现了问题