scrapy 抓取的页面只返回<h1>403 Forbidden</h1>

Question

问题描述
执行"scrapy crawl scrapyProject" 该命令后，正常运行，response.status=200,但是抓取不到页面的任何内容，返回的内容只有

403 Forbidden

---

nginx/1.8.1
实在是因为囊肿羞涩，请各位高手大牛们不要介意！

Answer 1

这是因为这个页面访问需要认证等， 你的程序访问的时候，服务器直接返回这个禁止访问的内容给你了。