以scrapy 框架为基础爬取bilibili视频数据，出现 referer:None 问题

Question

 

Answer 1

在获取一些网站数据时，代码中需要传递headerst和cookies，除了user-agent外，referer,accept，content-type，accept-encoding等有的也需要写进headers。使用scrapy如何添加这些参数，可以参考https://blog.csdn.net/weixin_44508906/article/details/87895868