学习爬虫过程中遇到上述问题，如上图，有部分链接直接None,不知道什么原因，有哪位大佬知道原因吗
2条回答 默认 最新
mollpppp 2020-05-29 16:55关注200说明成功了，返回None是因为你返回值本来就设置成None，或者没设置返回值导致python默认返回None
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决评论 打赏无用 4举报
分享
- 2020-05-29 14:50回答 2 已采纳 200说明成功了，返回None是因为你返回值本来就设置成None，或者没设置返回值导致python默认返回None
- 2021-08-02 15:47回答 2 已采纳 返回的数据中有None值，说明按正则获取的节点中有的就无图片链接。你可以在语句中加入 if else 去剔除掉None值。
- 2021-05-10 09:54回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。 另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。
- 2021-05-07 11:56麦芽糖0219的博客 scrapy的工作流程 scrapy的入门使用 scrapy数据建模与请求 scrapy模拟登陆 scrapy管道的使用 scrapy中间件的使用 scrapy_redis概念作用和流程 scrapy_splash组件的使用 scrapy的日志信息与配置 scrapyd部署scrapy...
- 2022-05-06 00:26回答 2 已采纳 你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2023-07-10 02:24ζ小菜鸡的博客 大家好我是小菜鸡，让我们一起学习Python的网络爬虫框架-Scrapy爬虫框架的使用（一起努力，咱们顶峰相见！！！）
- 2020-07-03 11:16回答 4 已采纳 考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
- 2019-04-17 16:25回答 1 已采纳 如果楼主是用scrapy框架爬的话，可以在settings.py加上User-Agent信息，这样应该就可以了
- 2021-12-07 21:42回答 1 已采纳 流程通了细节没改 import copy from scrapy import Request from scrapy.spiders import Spider class AniRank(S
- 2024-03-26 13:44言程序plus的博客 Scrapy 是用 Python 实现的一个为了采集网站数据、提取结构性数据而编写的应用框架。常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定...
- 2021-09-05 19:18回答 2 已采纳 那叫ajax，
- 2020-12-08 10:18weixin_39600331的博客 本文主要通过实例介绍了scrapy框架的使用，分享了两个例子，爬豆瓣文本例程 douban 和图片例程 douban_imgs ，具体如下。例程1： douban目录树douban--douban--spiders--__init__.py--bookspider.py--douban_comment...
- 2021-07-13 19:23GitLqr的博客 Scrapy 是一个 python 编写的，被设计用于爬取网络数据、提取结构性数据的开源网络爬虫框架。 作用：少量的代码，就能够快速的抓取 官方文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/ 补充：Scrapy 使用...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 无线电能传输系统MATLAB仿真问题
- ¥50 如何用脚本实现输入法的热键设置
- ¥20 我想使用一些网络协议或者部分协议也行，主要想实现类似于traceroute的一定步长内的路由拓扑功能
- ¥30 深度学习，前后端连接
- ¥15 孟德尔随机化结果不一致
- ¥15 apm2.8飞控罗盘bad health，加速度计校准失败
- ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
- ¥15 谁有desed数据集呀
- ¥20 手写数字识别运行c仿真时，程序报错错误代码sim211-100
- ¥15 关于#hadoop#的问题