为什么scrapy shell + 网站和运行后response的网址不一样

图片说明
这是输入的网址

图片说明出来
response的网址和我输入的不一样，这样我想response.css响应下就只能去响应他而不是一开始我输入的网址。求各位大神解答

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
dabocaiqq 2020-07-11 23:06
关注
https://blog.csdn.net/qq_35515661/article/details/83268037

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

跪求，scrapy中为什么def parse(self, response)无响应，求大神 python
2021-01-30 21:50

回答 5 已采纳把跟scrapy一起的库删除重新下载就好了
为什么我的scrapy爬不到数据了 python
2020-09-05 13:48

回答 1 已采纳 small_link = 'http:'+li.xpath('./@href').extract_first() 这里错了 response.urljoin(li.xpath('./@href')
scrapy爬虫翻页操作，python+scrapy python 其他有问必答
2021-04-02 17:02

回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
scrapy shell 实践 | 交互式爬虫
2021-01-07 03:10

自CSDN学院课实践。...2020-02-19 16:01:34 [scrapy.utils.log] INFO: Scrapy 1.7.4 started (bot: scrapybot) 2020-02-19 16:01:34 [scrapy.utils.log] INFO: Versions: lxml 4.4.1.0, libxml2 2.9.5, css
scrapy中运行selemium填写验证码，browser启动后语句不执行 python selenium 有问必答爬虫
2021-12-16 14:44

回答 1 已采纳你在代码加个print()看看具体执行到哪一步
在 python scrapy爬虫框架：response.xpath（）的返回值是[ ],这个怎么解决？ python
2020-07-03 11:16

回答 4 已采纳考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
scrapy框架+formdata+ajax爬取及翻页问题 python 数据挖掘测试用例
2020-03-25 14:18

回答 1 已采纳 def parse(self, response): result = eval(response.body.decode('utf-8')) 兄弟，你打印一下resu
scrapy shell遇到response找不到的问题
2023-01-14 17:09

揣摩的博客 3.最终发现应该是有的网站在遵守robot协议时不允许访问，把robot设置为False就行了。4.设置完成之后重新使用scrapy shell +地址就能使用了。2.重新启动一次发现下面没有response。1.在使用xpath发现没有。
python运行scrapy框架出现报错 NameError: name 'imp' is not defined python
2022-04-28 23:20

回答 7 已采纳如果你不记得改了什么的话，重装吧。毕竟你改了啥，怎么改回去就只有神才知道了。环境里面的.py文件改了的话基本没什么方法，除了重装。按报错来看，playwright, pyee,twisted,win3
scrapy 找不到txt文件是为什么？ python
2021-12-14 09:34

回答 1 已采纳 with open(r'ccgpwin_2021\publishTime','r') as f: preservationTime = f.readline() 有帮助请采纳
python爬虫scrapy python 有问必答
2021-07-22 10:03

回答 2 已采纳看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
Scrapy基本概念——Scrapy shell
2022-11-28 09:24

♂愤怒的it男♂的博客 Scrapy shell是一个交互式shell，可以在不运行Spider的情况下，测试和调试自己的数据提取代码。事实上，Scrapy shell可以测试任何类型的代码，因为它本就是一个常规的Python shell。7、使用response实例打印响应头...
python装scrapy库装上了但是不能用 python
2022-12-30 15:18

回答 2 已采纳你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7478137我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：pyt
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
2024-05-31 21:24

学网安的A的博客 Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
Python-爬虫（scrapy shell命令、动态页面获取）
2022-10-02 14:58

NUC_Dodamce的博客 scrapy shell + url 启动scrapy shell，通常的目的是调试表达式。使用response.xpath(‘**’)开始xpath调试，response.re开始re正则表达式调试，后面根对应的表达式即可。exit()退出scrapy shell 可以发现，这个...
没有解决我的问题, 去提问

悬赏问题

¥15 matlab数据降噪处理，提高数据的可信度，确保峰值信号的不损失？
¥15 怎么看我在bios每次修改的日志
¥15 python+mysql图书管理系统
¥15 Questasim Error: (vcom-13)
¥15 船舶旋回实验matlab
¥30 SQL 数组，游标，递归覆盖原值
¥15 为什么我的数据接收的那么慢呀有没有完整的 hal 库并代码呀有的话能不能发我一份并且我用 printf 函数显示处理之后的数据，用 debug 就不能运行了呢
¥20 gitlab 中文路径，无法下载
¥15 用动态规划算法均分纸牌
¥30 udp socket，bind 0.0.0.0 ，如何自动选取用户访问的服务器IP来回复数据

为什么scrapy shell + 网站和运行后response的网址不一样

2条回答 默认 最新

悬赏问题

2条回答默认最新