求助！用scrapy爬虫，未全部爬完就停止

Question

用scrapy框架爬取58.com获取一些地产数据，前期不用代理ip,本机ip爬取，页面返回滑块+点击验证码，手动解决验证码后再次爬取成功，且速度快，但很low.于是购买快代理私密IP,伪装user agent后进行爬取(没有禁cookies,因为禁了返回的页面就没有信息，页面重定向404,应该是58的一种反爬手段吧,相当于说即便我用了代理，但是从cookie 也可以判断非人为请求，所以返回验证码的概率很高)由于爬取过程中仍会返回验证码，返回验证码的这条url的数据就获取不完整，导最后爬取的总数据量不全。
解决这个问题的思路就是，返回验证码的这条url重新换个ip请求，外加请求时，随机生成一个cookie这样不容易被反爬，这样做后解决了验证码的问题，但是一旦翻页就会出现404,接下来就解决404问题，测试了实际网页，带上原来的cookie再次请求可以解决404问题，外加如果请求返回验证码的这个代理ip就从代理池里移除,于是这两个问题就解决了，只是对于总的请求次数几乎是翻倍了。
原以为这样解决了问题只是请求翻倍，使用代理数增加，但是实际过程试验多次都一样，发现最后没有全部请求完程序就停止了，这个问题暂时没有思路。
寻求帮助，这是什么原因造成的，求大神帮忙解决这个问题.

Answer 1

不知道你这个问题是否已经解决, 如果还没有解决的话:

• 看下这篇博客，也许你就懂了，链接：【爬虫】scrapy下载图片问题

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^