今天使用scrapy框架爬取一个网页图片时，遇到DEBUG: Redirecting (302) to <网址1> from <网址2>
的问题。网址1是重定向的网址，网址2是原网址。
用鼠标点击pycharm中的网址1，就进入该页面：
过了几秒钟又跳转为原网址。但是如果直接再浏览器里面不会发生跳转的问题。
scrapy爬取网页时遇到302重定向问题怎么办？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2018-02-09 09:34回答 3 已采纳 1. 把整个爬取到的网页内容直接存储到数据库肯定是可以的，你之所以没有成功，应该是因为你的数据库中的相应字段错了，整个网页内容都比较长，一般都是要用text字段，甚至是LongText)（最大长度42
- 2021-12-04 01:41回答 1 已采纳 img_url = div.xpath('./div/a/img/src').extract_first() src前面少了 @ 改成 img_url = div.xpath('./
- 2022-10-19 14:43回答 1 已采纳
- 2024-05-01 01:00白如意i的博客 网络爬虫，通常称为网络爬行或网络蜘蛛，是以编程方式浏览一系列网页并提取数据的行为，是处理网络数据的强大工具。通过使用网络爬虫，您可以挖掘有关一组产品的数据，获取大量文本或定量数据以进行分析，从没有官方...
- 2021-06-13 23:12回答 2 已采纳 这个是百度反爬虫导致的，
- 2021-05-26 16:56回答 2 已采纳 你的数据清洗方法用错了，参考一下：https://blog.csdn.net/qq_43004728/article/details/84586628，如有帮助，望采纳
- 2021-05-23 20:32回答 2 已采纳 你已经爬到图片连接了，这个看到的管道文件的代码怎样写，要对图片链接发送请求访问，然后保存才行
- 2024-02-25 17:21综上所述，"基于Scrapy的分布式搜索引擎"项目旨在结合Scrapy的强大爬取能力，构建一个能分布式抓取并利用人工智能技术进行有效检索的系统。通过合理的设计和实施，我们可以构建一个高效、可扩展的搜索引擎，服务于...
- 2021-08-03 18:51回答 2 已采纳 找到原因了，是要在setting中加上MEDIA_ALLOW_REDIRECTS = True，貌似是中间件的内容，我还没学到，所以不清楚什么意思，有大佬可以解释一下吗看所有日志后会发现其实有地方报错
- 2020-09-01 19:12回答 2 已采纳 ``` browser.quit() return HtmlResponse(url=request.url, body=browser.page_source, re
- 2021-12-20 01:08回答 1 已采纳 http: 去那里啦?
- 2024-03-12 10:49手把手PythonAI编程的博客 更多精彩文章请关注微信公众号：手把手PythonAI编程 关注后回复【教程】领取50本优质Python编程、人工智能电子书籍 往期推荐： 精通Python数据处理：掌握Agate，解锁数据分析新境界 掌握Python图像处理艺术：Pillow...
- 2022-02-17 10:28回答 3 已采纳 js加载的，先打印看下获取的整个网页。我试了下，在下图这个位置可以找到视频链接，可以用正则或者别的方法取出来
- 2024-07-25 18:13shandianchengzi的博客 文章目录 汽车之家大连市二手车车辆数据爬取、清洗与可视化 一、项目简介 二、项目架构 1）运行环境 3）系统架构图 4）数据库设计 三、项目核心代码说明 1）Scrapy框架数据爬取 2）Pandas数据清洗与可视化 3）...
- 2023-05-20 14:49程序员王炸的博客 在Scrapy项目中，爬虫是用于抓取和解析网页的主要组件。要创建一个新的爬虫，请在目录下创建一个名为的文件，并输入以下代码：1234567891011121314importscrapyclassname'example'start_urlsdefparse(selfself.log...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 is not in the mmseg::model registry。报错，模型注册表找不到自定义模块。
- ¥15 安装quartus II18.1时弹出此error，怎么解决？
- ¥15 keil官网下载psn序列号在哪
- ¥15 想用adb命令做一个通话软件，播放录音
- ¥30 Pytorch深度学习服务器跑不通问题解决？
- ¥15 部分客户订单定位有误的问题
- ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法
- ¥15 Bug traq 数据包 大概什么价
- ¥15 在anaconda上pytorch和paddle paddle下载报错
- ¥25 自动填写QQ腾讯文档收集表