Python爬虫—scrapy框架下的CrawlSpider问题

使用CrawlSpider建立rules规则之后，比如该规则是下一页的url，然后添加callback指定解析函数，然后我发现，CrawlSpider直接就从下一页开始发出的请求，根本就没有从前面定义的start_ursl开始请求，导致获取到的数据是从网站第二页开始获取的，这肯定不是我想要的结果，这个问题如何破解？？？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
focusdroid 2021-04-11 22:07
关注
follow=True

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python爬虫scrapy python 有问必答
2021-07-22 10:03

回答 2 已采纳看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
爬虫scrapy框架爬不出来，但是request可以出来 http python 爬虫
2022-05-06 00:26

回答 2 已采纳你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
请问Python爬虫如何把爬取数据存入csv文件中 python 开发语言有问必答爬虫
2021-11-21 21:19

回答 1 已采纳你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
六 Python之scrapy爬虫框架
2021-05-07 11:56

麦芽糖0219的博客 scrapy的工作流程 scrapy的入门使用 scrapy数据建模与请求 scrapy模拟登陆 scrapy管道的使用 scrapy中间件的使用 scrapy_redis...scrapy的日志信息与配置 scrapyd部署scrapy项目 Gerapy爬虫管理 crawlspider类的使用
爬虫scrapy框架为什么items一直报错 python 有问必答
2021-12-23 22:10

回答 1 已采纳你这个文件是house.py，然后又从这个house引入，改一下文件名
关于#pythonscrapy#的问题，如何解决？ python 开发语言爬虫
2023-04-02 16:26

回答 2 已采纳好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
python运行scrapy框架出现报错 NameError: name 'imp' is not defined python
2022-04-28 23:20

回答 7 已采纳如果你不记得改了什么的话，重装吧。毕竟你改了啥，怎么改回去就只有神才知道了。环境里面的.py文件改了的话基本没什么方法，除了重装。按报错来看，playwright, pyee,twisted,win3
python爬虫scrapy框架教程_Python爬虫框架Scrapy基本用法入门教程
2020-11-26 06:06

weixin_39805364的博客本文实例讲述了Python爬虫框架Scrapy基本用法。分享给大家供大家参考，具体如下：Xpath标题二级标题爬虫1爬虫2在上述html代码中，我要获取h2的内容,我们可以使用以下代码进行获取：info = response.xpath("/...
python scrapy爬虫如果想要下一页但是没有href python 爬虫
2022-12-14 00:18

回答 1 已采纳你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
scrapy爬虫翻页操作，python+scrapy python 其他有问必答
2021-04-02 17:02

回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
scrapy框架中多爬虫文件情况下怎么设置那个爬虫走那个管道类呢？ python redis 爬虫
2021-09-02 17:19

回答 2 已采纳方法一：在pipeline里添加管道类，在close_spider方法里根据 spider.name 进行判断，进行对应处理最后在settings中开启管道。方法二：scrapy用system命令在
Python爬虫Scrapy框架IP代理的配置与调试
2020-05-18 13:30

Python新世界的博客由于笔者主修语言是Java，所以有些解释可能和Python大佬们的解释不一样，因为我是从Java 的角度看Python。这样也便于Java开发人员阅读理解。代理ip的逻辑在哪里一个scrapy 的项目结构是这样的 ...
怎么解决Python中scrapy导入出错的问题？ pycharm python
2021-07-14 22:31

回答 1 已采纳看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里如执行scrapy crawl demo ,spiders里面就要有demo.py文件
python scrapy 爬虫实例_Python Scrapy框架：通用爬虫之CrawlSpider用法简单示例
2021-02-03 00:20

Ron.王靖渝的博客本文实例讲述了Python Scrapy框架：通用爬虫之CrawlSpider用法。分享给大家供大家参考，具体如下：步骤01: 创建爬虫项目scrapy startproject quotes步骤02: 创建爬虫模版scrapy genspider -t quotes quotes.toscrape...
Scrapy框架：使用CrawlSpider实现通用爬虫的Python编程
2023-09-09 05:03

代码指四方的博客使用Scrapy框架和CrawlSpider类，我们可以轻松地构建强大的网络爬虫，并从网页中提取所需的数据。其中，CrawlSpider是Scrapy框架中的一个子类，专门用于构建通用爬虫，它能够自动跟踪链接并按照预定义的规则提取数据...
没有解决我的问题, 去提问

悬赏问题

¥40 复杂的限制性的商函数处理
¥15 程序不包含适用于入口点的静态Main方法
¥15 素材场景中光线烘焙后灯光失效
¥15 请教一下各位，为什么我这个没有实现模拟点击
¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
¥20 有关区间dp的问题求解
¥15 多电路系统共用电源的串扰问题
¥15 slam rangenet++配置
¥15 有没有研究水声通信方面的帮我改俩matlab代码

Python爬虫—scrapy框架下的CrawlSpider问题

1条回答 默认 最新

悬赏问题

1条回答默认最新