victordiao
victordiao
采纳率33.3%
2016-08-30 00:45 阅读 4.5k
已采纳

python爬虫时出现internal server error

我使用python爬取一个网站的大量帖子,大概有几百万吧
但是很奇怪,每隔不定的数量就会中止
并且挺频繁,中止原因是,Internal Server Error
严重影响了我的进度。。。
求教各位大神!
PS:我是用腾讯云服务器主机和PC一起跑的,PC也遇到过很多次这样的问题,感觉可能和使用服务器电脑没关系。。。
图片说明

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

2条回答 默认 最新

  • 已采纳
    caozhy 从今以后生命中的每一秒都属于我爱的人 2016-08-30 01:02

    人家机房有防火墙,对于不正常的突发流量,会直接把你的ip暂时封掉。你抓几百万的帖子人家当你是DDoS攻击了。

    点赞 评论 复制链接分享
  • qq_16785727 qq_16785727 2016-08-30 02:32

    用代理就可以避免被封ip

    点赞 1 评论 复制链接分享

相关推荐