scrapy爬某非空网站时，response响应值为200，body却是空的

如题，爬的网站为http://detail.zol.com.cn/index.php?c=SearchList&keyword=%C8%FD%D0%C7&page=1
parse方法中输出response.body 为 b''

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
oyljerry 2018-05-10 14:20
关注
可能是ajax异步响应返回的。所以需要selenium等webdriver来获取

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

用scrapy爬到一半时停止并报错invalid session id python 爬虫
2022-01-04 16:58

回答 1 已采纳这位博友情况跟你的有点类似，你可以借鉴一下 https://blog.csdn.net/weixin_35757704/article/details/120706276
爬虫 scrapy 导出json文件时，怎么让不同类之间空一行 python 有问必答
2021-06-26 13:47

回答 1 已采纳这是一个JSON数组，JSON里面不能空行，否则转换可能会出问题。
scrapy 爬虫大量链接返回None不知道为啥 python
2020-05-29 14:50

回答 2 已采纳 200说明成功了，返回None是因为你返回值本来就设置成None，或者没设置返回值导致python默认返回None
【项目实战】【多处注释说明！】scrapy爬虫，爬取招聘网站招聘岗位信息
2021-04-30 10:32

wingwqr的博客目录一、项目背景二、项目介绍三、需求分析四、新建项目五、项目文件1.配置文件settings2....此项目是通过scrapy做了两个爬虫，一个爬取社招，一个爬取校招，爬取了huawei招聘网站的校招跟社招的招聘岗位（JD）信息
为什么我的scrapy爬不到数据了 python
2020-09-05 13:48

回答 1 已采纳 small_link = 'http:'+li.xpath('./@href').extract_first() 这里错了 response.urljoin(li.xpath('./@href')
跪求，scrapy中为什么def parse(self, response)无响应，求大神 python
2021-01-30 21:50

回答 5 已采纳把跟scrapy一起的库删除重新下载就好了
为啥Scrapy能成功运行但json文件是空的，求大神解答 python 有问必答
2021-05-19 19:48

回答 4 已采纳原因可能是这个网址的网页跳转，无法获取到数据，尝试更改网址，重写xpath或css。
想学爬虫吗？带你快速入门Scrapy
2020-04-03 13:46

索儿呀的博客详细讲解Quotes to Scrape网页的页面结构，来运行你第一个Scrapy代码；还有Scrapy教程，Srapy Shell 的使用，css选择器，XPath表达式
Scrapy的下载中间件返回响应对象时，为什么不会执行 del 操作？ python selenium 有问必答
2021-04-22 17:43

回答 4 已采纳已经解决，创建中间件时请使用 `spider_closed`方法并连接到信号： --skip-- @classmethod def from_crawler(cls, crawler):
scrapy爬虫的详细页的地址能传进去，response.text不是详细页的内容是怎么回事呢？爬虫
2021-11-23 00:51

回答 1 已采纳确认数据内容是页面的还是通过JSON接口写入的,目前响应的是啥.上图
爬虫scrapy框架爬不出来，但是request可以出来 http python 爬虫
2022-05-06 00:26

回答 2 已采纳你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
爬虫(20)Scrapy知识补充+腾讯招聘案例+古诗文详情页+总结
2021-02-11 12:28

辉子2020的博客 def _get_body(self): return self._body def _set_body(self, body): if body is None: self._body = b'' else: self._body = to_bytes(body, self.encoding) body = property(_get_body, obsolete_setter(_set_...
scrapy通用爬虫parse解析中的问题 python 爬虫
2022-10-16 01:14

回答 1 已采纳检查一下parse item 函数的response是否是正常的
爬虫笔记（五）--Scrapy
2020-03-04 10:42

jys0703的博客 scrapy 用户需要写的只有spider模块和item pipelines模块 downloader模块，scheduler模块，engine模块已有实现只经过简单的配置就可实现框架功能，但不用于测试，先用request再移植到scrapy中进行爬取 engine：...
python爬虫之Beautifulsoup和Scrapy框架的协同工作
2019-02-10 12:22

不要影响我叠Q的博客最近在开始做关于百度贴吧爬虫时，遇到了xpath解析贴吧网页死活解析不出来的情况，试了火狐和Chrome浏览器都是这样，愤怒之下选择了使用BeautifulSoup框架，（百度出来的，我是个初学者），折腾了半天总算解析出来...
没有解决我的问题, 去提问

悬赏问题

¥35 平滑拟合曲线该如何生成
¥100 c语言，请帮蒟蒻写一个题的范例作参考
¥15 名为“Product”的列已属于此 DataTable
¥15 安卓adb backup备份应用数据失败
¥15 eclipse运行项目时遇到的问题
¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
¥15 自己瞎改改，结果现在又运行不了了
¥15 链式存储应该如何解决
¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站

scrapy爬某非空网站时，response响应值为200，body却是空的

2条回答 默认 最新

悬赏问题

2条回答默认最新