python scrapy框架中from_crawler的问题

from_crawler这个方法有什么作用，文档没翻译明白，我在一些例子中，几乎每个类里都有 @calssmethod 的from_crawler方法和 from_settings方法，个人理解应该是一个初始化crawler的方法，我想知道他是在框架的哪里,什么时候调用的,不写这个方法而在__init__里初始化又有什么区别？初学新手被困扰了很久，看了几天就是没完全理解，，不弄明白感觉看其他地方就特别不顺，希望得到指教。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
oyljerry 2016-03-05 01:17
关注
直接在scrapy的源码中搜索这个函数

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

爬虫scrapy框架爬不出来，但是request可以出来 http python 爬虫
2022-05-06 00:26

回答 2 已采纳你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
Scrapy框架（爬虫中间件）：TypeError: __init__() missing 5 required positional arguments python 中间件爬虫
2022-01-29 11:40

回答 2 已采纳在init函数内部引入settings然后依次赋值就解决了
请问python中调用类的方法怎么调用 python
2018-09-11 11:35

回答 4 已采纳你这里的canshu()和order()都是实例方法，如果当做普通的函数来调用，应该以一个实例对象作为第一个参数。你在order函数的定义里对它的第一个参数self调用了self.canshu()
解读scrapy各个组件中的from_crawler()方法
2019-10-14 16:37

小宇不内向的博客 Scrapy中很多组件都有from_crawler()方法，下面是我读源码后对 from_crawler()方法的理解，记录下来。 from_crawler() 方法一般用传入的参数来实例化一个对象，比如 scrapy.spider 中的from_crawler()： @...
怎么把图片保存到文件夹里(语言-python) python
2022-09-26 18:23

回答 2 已采纳光在这里发问题，问题解决了不给采纳，谁还会帮你回答呢
空白，怎么回事阿(语言-python) python
2022-09-25 18:18

回答 2 已采纳把db.py改成这样就好了： import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders im
如何使用这个python程序 python 爬虫
2022-10-24 06:54

回答 4 已采纳希望可以帮上你,对你有启发 from selenium import webdriver from lxml import etree import numpy as np def arr_si
scrapy-from_crawler实例化Spider
2019-01-10 23:13

moisiet的博客而且是调用Spider内的类方法from_crawler()初始化spider的，下面分析这个过程的流程。Spider源码如下： class Spider(object_ref): """Base class for scrapy spiders. All spiders must inherit ...
用scrapy爬到一半时停止并报错invalid session id python 爬虫
2022-01-04 16:58

回答 1 已采纳这位博友情况跟你的有点类似，你可以借鉴一下 https://blog.csdn.net/weixin_35757704/article/details/120706276
在MACOS ARM架构下,安装scrapy失败,提示如下: python
2021-08-14 17:04

回答 1 已采纳自己解决了 pip uninstall lxmlpip3 install lxml
爬虫关于xpath在代码中返回为空的问题_美剧天堂电影爬取的案例 python 有问必答
2021-05-13 22:48

回答 3 已采纳少了一个空格，没有选中li元素
python scrapy框架简书_scrapy框架
2020-11-21 03:28

weixin_39833290的博客 scrapy框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。scrapy架构图scrapy各部分简介：Scrapy Engine(引擎): 负责信号和数据的传递，起协调作用．（框架帮我们...
scrapy配置问题,求大家帮忙啊 python
2013-11-20 03:11

回答 3 已采纳按照上面安装的方法，需要安装 pywin32-218.win32-py2.7.exe Twisted-13.1.0.win32-py2.7.exe zope.interface-4.0.
scrapy组件、中间件、spider中类方法from_crawler的作用
2018-09-18 00:12

辉辉咯的博客 def from_crawler(cls, crawler, *args, **kwargs): spider = cls(*args, **kwargs) spider._set_crawler(crawler) return spider cls代表这个类，因此，以下是用给定的参数创建了一个cls类的实例spider。参数会...
python模块之Scrapy爬虫框架
2023-10-10 00:00

局外人LZ的博客 Scrapy 是一个用于爬取网站数据的强大的开源 Python 框架。它提供了一个高级的抓取和数据提取工具集，使您能够快速、灵活地构建和扩展网络爬虫。强大的功能：Scrapy 提供了一套完整的工具和功能，包括请求调度、数据...
没有解决我的问题, 去提问

悬赏问题

¥15 多电路系统共用电源的串扰问题
¥15 slam rangenet++配置
¥15 有没有研究水声通信方面的帮我改俩matlab代码
¥15 对于相关问题的求解与代码
¥15 ubuntu子系统密码忘记
¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
¥15 保护模式-系统加载-段寄存器
¥15 电脑桌面设定一个区域禁止鼠标操作
¥15 求NPF226060磁芯的详细资料
¥15 使用R语言marginaleffects包进行边际效应图绘制