出来的网页网址和我要的不同，并且没有报错 也没有301，302提示
试过用USER_AGENT 没有效果
求各位大神帮忙解答
scrapy shell中view出来的网页和输进去的网址不同
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2022-10-02 14:58NUC_Dodamce的博客 这个网页是客户端渲染方式，数据保存在json中，需要重新请求上图的URL，下一页的数据通过更改URL参数中的start来返回，每一页的页面大小是20eg：这种情况下获取下一页：通过在爬取函数中yield方式返回scrapy.Req
- 2022-10-19 14:43回答 1 已采纳
- 2022-05-06 00:26回答 2 已采纳 你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
- 2022-12-14 00:18回答 1 已采纳 你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
- 2019-08-10 07:29Scrapy提供了一系列命令行工具，如`scrapy startproject`创建新项目，`scrapy genspider`生成新爬虫，`scrapy crawl`运行爬虫，以及`scrapy view`查看网页源代码等。 13. **Scrapy与其他库的集成**： Scrapy可以...
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2018-02-09 09:34回答 3 已采纳 1. 把整个爬取到的网页内容直接存储到数据库肯定是可以的，你之所以没有成功，应该是因为你的数据库中的相应字段错了，整个网页内容都比较长，一般都是要用text字段，甚至是LongText)（最大长度42
- 2022-10-16 01:14回答 1 已采纳 检查一下parse item 函数的response是否是正常的
- 2022-11-28 09:24♂愤怒的it男♂的博客 Scrapy shell是一个交互式shell，可以在不运行Spider的情况下，测试和调试自己的数据提取代码。事实上，Scrapy shell可以测试任何类型的代码，因为它本就是一个常规的Python shell。7、使用response实例打印响应头...
- 2022-01-20 23:02回答 2 已采纳 改成这样试试 yield scrapy.Request(url=login_url, headers=header, body=json.dumps(param), method='
- 2020-09-20 05:31Scrapy是Python编程语言中的一个强大爬虫框架，它提供了丰富的命令行工具，方便开发者进行爬虫项目的管理和调试。在Scrapy中，命令分为全局命令和项目命令。 **全局命令** 不依赖于任何Scrapy项目，可以直接在...
- 2023-01-14 17:09揣摩的博客 3.最终发现应该是有的网站在遵守robot协议时不允许访问，把robot设置为False就行了。4.设置完成之后重新使用scrapy shell +地址就能使用了。2.重新启动一次发现下面没有response。1.在使用xpath发现没有。
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 单纯型python实现编译报错
- ¥15 c++2013读写oracle
- ¥15 c++ gmssl sm2验签demo
- ¥15 关于模的完全剩余系(关键词-数学方法)
- ¥15 有没有人懂这个博图程序怎么写，还要跟SFB连接，真的不会，求帮助
- ¥15 PVE8.2.7无法成功使用a5000的vGPU，什么原因
- ¥15 is not in the mmseg::model registry。报错，模型注册表找不到自定义模块。
- ¥15 keil官网下载psn序列号在哪
- ¥15 想用adb命令做一个通话软件，播放录音
- ¥30 Pytorch深度学习服务器跑不通问题解决？