。为什么这个运行后响应不了，不能显示后来的url
唔后牙你跑，完了报道，无语了
scrapy.Request响应不了
。为什么这个运行后响应不了，不能显示后来的url
唔后牙你跑，完了报道，无语了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-01-03 10:32回答 1 已采纳 self.xidian_next_page确定有值吗
- 2021-07-26 15:56回答 2 已采纳 这个就是正常爬完了的日志信息吧，没啥问题啊
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2023-02-13 22:47萌面女汉_zp的博客 2、scrapy中meta的使用
- 2022-05-06 00:26回答 2 已采纳 你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
- 2020-12-15 11:12回答 4 已采纳 兄弟，半个小时的辛苦 class CeshiSpider(scrapy.Spider): name = 'ceshi' api_headers = { 'Host'
- 2019-05-15 16:44回答 1 已采纳 在spider文件中spider类的上面写下不希望首字母大写的header ``` from twisted.web.http_headers import Headers as TwistedH
- 2021-01-28 18:38BioArt植物的博客 介绍Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个...在Spider中通常用法： yield scrapy.Request(url = 'zarten.com')类属性和方法有：urlmethodheadersbodymetaco...
- 2021-08-03 18:51回答 2 已采纳 找到原因了，是要在setting中加上MEDIA_ALLOW_REDIRECTS = True，貌似是中间件的内容，我还没学到，所以不清楚什么意思，有大佬可以解释一下吗看所有日志后会发现其实有地方报错
- 2020-07-13 19:48回答 1 已采纳 先打印response看看和你在网页上看到的一样吗？？
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2021-08-11 11:38使用`scrapy.Request`对象，我们可以向`parse`方法传递回调函数，以便处理返回的响应并获取更多页面。如果页面有分页，可以通过检查HTML元素（如页码按钮）并动态构造新的URL来实现翻页。 图片下载是爬虫常见的需求...
- 2020-07-03 11:16回答 4 已采纳 考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
- 2021-05-06 22:39DoctorAyuan的博客 问题：出现scrapy.Request中callback无法调用的问题 部分源代码如下yield scrapy.Request( item["href"], callback=self.parse_detail, meta = {"item":item}, ) 出现不会执行parse_detail方法的情况 解决方式...
- 2019-03-17 20:43提莫_的博客 scrapy错误：yieldscrapy.Request()不执行、失效、Filtered offsite request to错误。首先我们在Request（）方法里面添加这么一个东东： yield Request(url, callback=self.parse_item,dont_filter=True) 如果发现...
- 没有解决我的问题, 去提问
问题事件
系统已结题
4月29日
创建了问题
4月21日
悬赏问题
- ¥15 mysql 对多个字段模糊查询，返回第一个匹配的字段
- ¥15 the testing results of the whole dataset is empty
- ¥15 can问题，往哥解决
- ¥15 FFmpeg 成功推流到 Nginx RTMP 服务器但无法用 ffplay 或 VLC 播放
- ¥15 请修改以下C语言代码使其能正确输出最短路径
- ¥20 抖音商城拉码器安卓报错求解决办法或者有新的拉码脚本也可以介绍一下
- ¥15 MPLAB IDE V2.35 报错make[2]: *** [build/default/production/_ext/1472/MSSP_I2C.p1] Error 1
- ¥15 Unity2D URP项目TextMeshPro（3D）无法显示文字
- ¥15 新唐M451 DTMF检测和发送代码修改
- ¥15 在国外文献网站里点击view pdf 加载异常缓慢甚至加载不出来。