python爬虫时出现internal server error

Question

我使用python爬取一个网站的大量帖子，大概有几百万吧
但是很奇怪，每隔不定的数量就会中止
并且挺频繁，中止原因是，Internal Server Error
严重影响了我的进度。。。
求教各位大神！
PS：我是用腾讯云服务器主机和PC一起跑的，PC也遇到过很多次这样的问题，感觉可能和使用服务器电脑没关系。。。

Answer 1

人家机房有防火墙，对于不正常的突发流量，会直接把你的ip暂时封掉。你抓几百万的帖子人家当你是DDoS攻击了。