想要爬取当当图书网页的评论信息
评论页并不是一个url，而是一个javascript
如图：
这些评论信息在源代码是不显示的，返回的形式是在network里边的XHR
如图：
我需要对这个文件进行解析提取一些数据，并且我想找到一个办法能够获得这本书的评论下的所有的XHR文件
各位大佬能不能教教我
scrapy框架爬取并解析开发者工具network中的php文件
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2020-09-01 19:12回答 2 已采纳 ``` browser.quit() return HtmlResponse(url=request.url, body=browser.page_source, re
- 2021-07-07 23:48回答 1 已采纳 scrapy得出的响应内容是在network的doc里面，如图 如果对你有帮助，可以点击我这个回答右上方的【采纳】按钮，给我个采纳吗，谢谢
- 2022-10-19 14:43回答 1 已采纳
- 2023-01-10 17:18biaobro的博客 爬虫与反爬虫 - 2023最新爬取某天气网站历史数据 - JS逆向 - Python实现
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2021-05-26 16:56回答 2 已采纳 你的数据清洗方法用错了，参考一下：https://blog.csdn.net/qq_43004728/article/details/84586628，如有帮助，望采纳
- 2020-03-25 14:18回答 1 已采纳 def parse(self, response): result = eval(response.body.decode('utf-8')) 兄弟，你打印一下resu
- 2019-11-26 12:02蔓越莓酥的博客 scrapy startproject ProName scrapy.cfg 基本不用修改 items.py 存储相关 pipelines 储存相关 Scrapy Engine Scheduler Downloader 创建完的项目里面没有包含这三项, 代表项目以及给我们封装好了功能, ...
- 2022-10-16 01:14回答 1 已采纳 检查一下parse item 函数的response是否是正常的
- 2018-02-09 09:34回答 3 已采纳 1. 把整个爬取到的网页内容直接存储到数据库肯定是可以的，你之所以没有成功，应该是因为你的数据库中的相应字段错了，整个网页内容都比较长，一般都是要用text字段，甚至是LongText)（最大长度42
- 2016-03-29 10:07回答 2 已采纳 这个是可能异步ajax返回的，所以需要用selenium等webdriver来处理
- 2018-07-24 19:26好好生活ying的博客 使用python爬虫框架，爬取拉勾网职位信息， 2.将爬取的职位信息存储到json格式的文件中 3.将爬取的数据进行数据分析 1.图片中的链接是职位列表页的链接，进行翻页，该链接没有变化，无法从该链接中爬取数据...
- 2021-09-02 17:19回答 2 已采纳 方法一：在pipeline里添加管道类，在close_spider方法里根据 spider.name 进行判断，进行对应处理最后在settings中开启管道。 方法二：scrapy用system命令在
- 2017-11-21 00:10dangsh_的博客 首先通过pip 安装scrapy ，安装方式一百度一大堆~ 这里就不再赘述 安装成功之后，开始今天的教程 执行：scrapy startproject First 生成项目文件 如图所示即为创建项目成功 创建成功后会生成如图所示的目录...
- 2024-01-12 10:43keer957的博客 目的：熟悉Python网页爬取方法。分析新浪国内新闻首页页面组织，利用urllib及Beautifulsoup爬取新浪国内新闻。 实现功能： 1. 爬取至少20条新闻。 2. 获取其中一条新闻的具体内容。 3. 获取20条新闻的具体内容，并以...
- 没有解决我的问题, 去提问
悬赏问题
- ¥30 这是哪个作者做的宝宝起名网站
- ¥60 版本过低apk如何修改可以兼容新的安卓系统
- ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
- ¥50 有数据，怎么建立模型求影响全要素生产率的因素
- ¥50 有数据，怎么用matlab求全要素生产率
- ¥15 TI的insta-spin例程
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题！