命令行运行后结果如下求大神指教，非常感谢
Python 使用 scrapy框架爬取数据，命令行显示referer：none 无法爬取，求大神解决
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2022-04-28 23:20回答 7 已采纳 如果你不记得改了什么的话，重装吧。毕竟你改了啥，怎么改回去就只有神才知道了。环境里面的.py文件改了的话基本没什么方法，除了重装。按报错来看，playwright, pyee,twisted,win3
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2021-07-07 23:48回答 1 已采纳 scrapy得出的响应内容是在network的doc里面，如图 如果对你有帮助，可以点击我这个回答右上方的【采纳】按钮，给我个采纳吗，谢谢
- 2020-12-03 11:35weixin_39620535的博客 我用的是splash 爬取，返回的数据10%-20%和页面不一样. 80%是正常数据试过爬取第一、二页，重复爬取。不一样的数据位置会变化，一条数据有时会正常爬到，有时不正常。是网站随机对这返回数据 运算了吗？怎么能拿到...
- 2019-11-15 23:52回答 2 已采纳 import scrapy #引入容器 from scrapytest.NewsItems import NewsItem 改为 from scrapytest.items import Ne
- 2020-09-01 19:12回答 2 已采纳 ``` browser.quit() return HtmlResponse(url=request.url, body=browser.page_source, re
- 2021-12-04 01:41回答 1 已采纳 img_url = div.xpath('./div/a/img/src').extract_first() src前面少了 @ 改成 img_url = div.xpath('./
- 2017-10-25 21:12Asa-德丶钰的博客 使用Scrapy爬取91pron网站 **声明：本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。** 首先，我们需要将scrapy框架所需的各种包，安装好，我们就开始...
- 2021-09-05 19:18回答 2 已采纳 那叫ajax，
- 2021-07-26 15:56回答 2 已采纳 这个就是正常爬完了的日志信息吧，没啥问题啊
- 2016-03-29 10:07回答 2 已采纳 这个是可能异步ajax返回的，所以需要用selenium等webdriver来处理
- 2019-08-27 11:23哈丨吅的博客 使用scrapy爬取当当网的数据，输入搜寻的关键字（如python、C++、java等），输入查询的页数，获取到书的名称、作者、价钱、评论数等信息，并下载书籍相应图片，画水平条形图直观显示热度较高的书籍 涉及： 1. ...
- 2019-04-17 16:25回答 1 已采纳 如果楼主是用scrapy框架爬的话，可以在settings.py加上User-Agent信息，这样应该就可以了
- 2020-12-03 06:53weixin_39919195的博客 如题，我在测试爬虫的时候，终端出现了如下代码：2019-04-20 15:04:51 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.qidian.com/free/a... ['cached']2019-04-20 15:04:52 [qd] DEBUG: Hi, ...
- 2020-02-07 22:45背心NK的博客 @[TOC]用scrapy爬虫不到数据，求大神解决 运行后终端显示： D:\BaiduNetdiskDownload\jobui>C:/Users/admin/AppData/Local/Programs/Python/Python36-32/python.exe d:/BaiduNetdiskDownload/jobui/main.py 2020-...
- 没有解决我的问题, 去提问
