想要爬取当当图书网页的评论信息
评论页并不是一个url，而是一个javascript
如图：
这些评论信息在源代码是不显示的，返回的形式是在network里边的XHR
如图：
我需要对这个文件进行解析提取一些数据，并且我想找到一个办法能够获得这本书的评论下的所有的XHR文件
各位大佬能不能教教我
scrapy框架爬取并解析开发者工具network中的php文件
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2020-09-01 19:12回答 2 已采纳 ``` browser.quit() return HtmlResponse(url=request.url, body=browser.page_source, re
- 2021-07-07 23:48回答 1 已采纳 scrapy得出的响应内容是在network的doc里面，如图 如果对你有帮助，可以点击我这个回答右上方的【采纳】按钮，给我个采纳吗，谢谢
- 2022-10-19 14:43回答 1 已采纳
- 2023-01-10 17:18biaobro的博客 爬虫与反爬虫 - 2023最新爬取某天气网站历史数据 - JS逆向 - Python实现
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2021-05-26 16:56回答 2 已采纳 你的数据清洗方法用错了，参考一下：https://blog.csdn.net/qq_43004728/article/details/84586628，如有帮助，望采纳
- 2020-03-25 14:18回答 1 已采纳 def parse(self, response): result = eval(response.body.decode('utf-8')) 兄弟，你打印一下resu
- 2019-11-26 12:02蔓越莓酥的博客 scrapy startproject ProName scrapy.cfg 基本不用修改 items.py 存储相关 pipelines 储存相关 Scrapy Engine Scheduler Downloader 创建完的项目里面没有包含这三项, 代表项目以及给我们封装好了功能, ...
- 2022-10-16 01:14回答 1 已采纳 检查一下parse item 函数的response是否是正常的
- 2018-02-09 09:34回答 3 已采纳 1. 把整个爬取到的网页内容直接存储到数据库肯定是可以的，你之所以没有成功，应该是因为你的数据库中的相应字段错了，整个网页内容都比较长，一般都是要用text字段，甚至是LongText)（最大长度42
- 2016-03-29 10:07回答 2 已采纳 这个是可能异步ajax返回的，所以需要用selenium等webdriver来处理
- 2018-07-24 19:26好好生活ying的博客 使用python爬虫框架，爬取拉勾网职位信息， 2.将爬取的职位信息存储到json格式的文件中 3.将爬取的数据进行数据分析 1.图片中的链接是职位列表页的链接，进行翻页，该链接没有变化，无法从该链接中爬取数据...
- 2021-09-02 17:19回答 2 已采纳 方法一：在pipeline里添加管道类，在close_spider方法里根据 spider.name 进行判断，进行对应处理最后在settings中开启管道。 方法二：scrapy用system命令在
- 2017-11-21 00:10dangsh_的博客 首先通过pip 安装scrapy ，安装方式一百度一大堆~ 这里就不再赘述 安装成功之后，开始今天的教程 执行：scrapy startproject First 生成项目文件 如图所示即为创建项目成功 创建成功后会生成如图所示的目录...
- 2024-01-12 10:43keer957的博客 目的：熟悉Python网页爬取方法。分析新浪国内新闻首页页面组织，利用urllib及Beautifulsoup爬取新浪国内新闻。 实现功能： 1. 爬取至少20条新闻。 2. 获取其中一条新闻的具体内容。 3. 获取20条新闻的具体内容，并以...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)（相关搜索：51单片机|单片机|测试代码）
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)