python爬虫时报ConnectionResetError，这个怎么解决啊

Question

在用requests模块请求时会报这个错误，加了请求头也没有用，网上查了资料有人说
是因为没有加user-agent，但是加了也没有用，还有的说python的包问题，然后也安装了各种包也没有，这个网址从浏览器请求是可以的，所以也不会是被服务器禁爬的原因，
有哪位知道什么原因吗

Answer 1

爬虫的时候出现错误：[WinError 10054] 远程主机强迫关闭了一个现有的连接。

错误原因：抓取信息太过频繁，引起远程主机的怀疑，被网站怀疑是恶意攻击行为。

可以解决的方法：

1. 换个wifi连接

简单粗暴，但是很实用，亲测有效。
2. 用try—except在报错的时候重新调用函数，多试几次就可以

适用于爬虫主体为函数的情况。
参考链接：
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。

1. 修改程序3步走

urlopen之后写入关闭操作

让代码在抓取url之后关闭，减少大量抓取信息让远程怀疑的可能性

response = urllib.request.urlopen(request)
--snip--
response.close()
1
2
3
设置socket默认等待时间

设置读取信息的最大时间限制，如果超时的话程序将自动read下一项

socket.setdefaulttimeout(t)
1
设置sleep()等待时间
让代码等待一段时间后继续运行，避免太过频繁地进行信息抓取

time.sleep(t)
1
可以系统地解决问题，不过操作起来没有前面两个快捷，如果前面两个方法不能解决的话，可以尝试用这个方法。