关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
weixin_52225937
2022-12-03 13:42
采纳率: 90.2%
浏览 11
首页
编程语言
已结题
scrapy爬取失败
python
爬虫
不知道为什么怎么爬都是没有
收起
写回答
好问题
0
提建议
关注问题
微信扫一扫
点击复制链接
分享
邀请回答
编辑
收藏
删除
收藏
举报
1
条回答
默认
最新
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
JarodYv
领域专家: 人工智能技术领域
2022-12-03 14:05
关注
不知道你的爬取目标是什么,这种情况无非2种可能:
你的xpath写错了,没有定位到页面上的元素;
页面是动态的,页面内容是通过js操作DOM生成的;
你先看一下你的问题属于哪一种,如果是第一种写对xpath即可,如果是第二种你需要更换爬虫工具,用selenium等去爬取。
本回答被题主选为最佳回答
, 对您是否有帮助呢?
本回答被专家选为最佳回答
, 对您是否有帮助呢?
本回答被题主和专家选为最佳回答
, 对您是否有帮助呢?
解决
无用
评论
打赏
微信扫一扫
点击复制链接
分享
举报
编辑记录
评论
按下Enter换行,Ctrl+Enter发表内容
查看更多回答(0条)
向“C知道”追问
报告相同问题?
提交
关注问题
python
Scrapy
爬取
天气预报,零基础的你也可以快速上手
2021-07-12 18:03
Java进阶营菌的博客
写一个真正意义上一个爬虫,并将他
爬取
到的数据分别保存到txt、json、已经存在的mysql数据库中。 目标分析: [图片上传
失败
…(image-cf5522-1626084108588)] 初学者有什么不懂的可以私信我——我刚整理了一套2018...
1.
scrapy
项目创建——python
scrapy
爬取
新浪财经财经新闻
2022-02-23 12:11
爱编程的莲莲猫的博客
近期需要
爬取
一些关于银行的新闻,通过尚硅谷老师的讲课进行学习,然后应用到东方财富网和新浪财经,现在以新浪财经为例,记录一下学习成果(有一说一,尚硅谷老师教的真不错(>ω<)喵)。此部分只讲操作,具体...
Python
Scrapy
爬取
办公用品网站数据的策略
2025-07-21 14:14
AI Python 编程的博客
我们的学习路径将从
Scrapy
的基本概念开始,逐步深入到如何针对办公用品网站进行数据
爬取
,最后通过实践案例让你掌握具体的操作方法。的Spider,它从指定的URL开始
爬取
,使用CSS选择器提取笔记本的名称和价格信息,并...
Python3网络爬虫开发实战,
Scrapy
爬取
新浪微博
2020-08-11 16:09
Python新世界的博客
接下来我们以一个反爬比较强的网站新浪微博为例,来实现一下
Scrapy
的大规模
爬取
。 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,...
Scrapy
爬取
并分析CSDN热门文章标题
2021-07-21 23:35
Cicada128的博客
背景 CSDN里有不少优秀的技术大佬,创作了很多的技术文章,获得了很多同行的...[外链图片转存
失败
,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q0yRvygg-1626881583750)(https://note.youdao.com/yws/res/9/W
爬虫框架
Scrapy
(12)
爬取
动态页面
2021-04-12 14:31
Python@达人的博客
文章目录
爬取
动态页面(一)Splash 渲染引擎1. render.html 端点2. execute 端点3. 常用属性与方法(1)Splash 对象的属性(2)Splash 对象的方法(二)安装
Scrapy
-
Scrapy
1. 安装 splash 服务器2. 安装
Scrapy
-...
【数据采集】使用
scrapy
采集天气网、豆瓣数据信息_基于scrpy爬虫的天气数据采集
2024-05-03 01:43
2401_84692141的博客
所以采用extract_first进行处理,那么没有的就是当作空来处理了 info = k.xpath('div/div[2]/div[2]/p[2]/span/text()').extract_first() 3.2.4 pipelines.py 数据库连接 做了那么多年开发,自学了很多门
编程语言
,...
Python 爬虫是一种利用 Python
编程语言
2024-07-12 15:03
print("请求
失败
,状态码:", response.status_code) ``` - **代码解释**: - 使用 `requests` 库发起 GET 请求。 - 通过检查 HTTP 状态码判断请求是否成功。 - 利用 BeautifulSoup 解析 HTML 并提取网页标题。 ...
python爬虫
爬取
多个页面_python网络爬虫之使用
scrapy
自动
爬取
多个网页
2020-11-24 10:20
weixin_39542742的博客
前面介绍的
scrapy
爬虫只能
爬取
单个网页。如果我们想
爬取
多个网页。比如网上的小说该如何如何操作呢。比如下面的这样的结构。是小说的第一篇。可以点击返回目录还是下一页对应的网页代码:我们再看进入后面章节的网页...
Scrapy
MySQL
爬取
链家网中北京地区租房信息
2019-08-10 07:45
在这个项目中,Python3.6作为主要的
编程语言
,提供了强大的数据处理能力。下面我们将深入探讨该项目涉及的几个关键知识点。 **1.
Scrapy
框架**
Scrapy
是一个用Python编写的开源网络爬虫框架,它简化了网页抓取和...
没有解决我的问题,
去提问
向专家提问
向AI提问
付费问答(悬赏)服务下线公告
◇ 用户帮助中心
◇ 新手如何提问
◇ 奖惩公告
问题事件
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
系统已结题
12月16日
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
已采纳回答
12月8日
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
创建了问题
12月3日