scrapy shell 爬dytt8.net遇到的问题

Question

本人菜鸟，初学scrapy，今天心血来潮想爬电影天堂的电影信息及下载地址。。。

scrapy项目，item，rules都写好了，想用scrapy shell 测试下css对不对。。
结果怎么 scrapy shell dytt8.net 都报错。。

scrapy shell dytt8.net 报302

scrapy shell http:\www.dytt8.net 报302

scrapy shell https:\www.dytt8.net 报

twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

用scrapy shell 换user_agent也解决不好。。。一天就搞这玩意了。。。
这是什么先进的防爬手段....求大神解救。。

Answer 1

302是跳转了，可以抓包看看跳转到哪里，一般来说无非是真正的有数据的地方/让你登录/错误页