ddhddy 2016-05-05 03:09 采纳率: 100%
浏览 370
已结题

scrapy的变量名是规定好的吗？

我有一个疑问，就是在某些框架中 变量名好像是规定好的，比如在scrapy中蜘蛛的名字name，作用域处理函数parse（self，response）貌似response也是规定好的。。。我想请问下这其中的实现原理是什么？如果我想将name,换成其他的名字可以吗？可以的话该怎么做。还有我一直很好奇，为什么各个部件间没用显示的调用语句，数据会自动流动并处理

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • scrapy是不没安装好呢？ python 爬虫
      2022-05-10 11:28
      回答 2 已采纳 你确认一下是不是调用命令还需要参数啊
    • scrapy报错，你可以帮帮我吗？ python 有问必答
      2021-05-24 12:47
      回答 5 已采纳 可能与环境配置或运行的路径有关，首先确保python及Scripts添加到系统环境变量，且scrapy正确安装到系统python的site-packages中，其次将运行的项目存放到其他目录，cd到该
    • scrapy运行发生错误，如何解决？ python 爬虫
      2022-07-28 20:29
      回答 1 已采纳 重新安装一下lxml库呢https://blog.csdn.net/weixin_43965374/article/details/99641332
    • Scrapy框架介绍
      2022-11-06 18:06
      W_chuanqi的博客 Scrapy 是一个基于 Python 开发的爬虫框架，可以说它是当前Python爬虫生态中最流行的爬虫框架，该框架提供了非常多爬虫相关的基础组件，架构清晰，可扩展性极强。基于Scrapy，我们可以灵活高效地完成各种爬虫需求。...
    • 关于#scrapy#的问题，如何解决？ python 爬虫
      2023-03-07 18:36
      回答 2 已采纳 从代码看，你的爬虫似乎只是爬取了起始页面上第一个标题链接的数据。这可能是因为在parse函数中只获取了第一个数据块，而没有对其他数据块进行处理。 你可以尝试使用循环迭代数据块，以便对每个数据块进行相同
    • 关于#pythonscrapy#的问题，如何解决？ python 开发语言 爬虫
      2023-04-02 16:26
      回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
    • scrapy如何手动停止爬虫？ python
      2021-05-10 09:54
      回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。   另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。  
    • scrapy 登录
      2023-02-25 22:42
      卑微小钟的博客 登录 注解 scrapy.log 已经不赞成与函数一起使用，而赞成显式调用Python标准日志记录。继续阅读以了解有关新日志记录系统的更多信息。 零星用途 logging 用于事件日志记录。我们将提供一些简单的示例来帮助您入门，...
    • scrapy怎么没打印数据？ python
      2021-07-21 12:31
      回答 3 已采纳 allowed_domains = ["jobui.com"] 好像是不要WWW 或者这个直接 不写 allowed_domains = ["jobui.com"]
    • scrapy 找不到txt文件是为什么？ python
      2021-12-14 09:34
      回答 1 已采纳 with open(r'ccgpwin_2021\publishTime','r') as f: preservationTime = f.readline() 有帮助请采纳
    • 不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？ django flask python tornado virtualenv
      2019-06-09 21:28
      回答 2 已采纳 ![图片说明](https://img-ask.csdn.net/upload/201906/11/1560224325_844052.png)
    • scrapy快速入门
      2023-02-08 10:27
      Ss#plus的博客 接下来就是爬取下一页或是内容页的秘诀所在，scrapy给我们提供了这么一个方法：scrapy.Request() 这个方法还有许多参数，后面我们慢慢说，这里我们只使用了两个参数，一个是：我们继续爬取的链接（next_page），这里...
    • Scrapy
      2021-02-08 14:45
      edge_god的博客 Scrapy框架(一) 简介 Scrapy是纯Python开发的一个高效,结构化的网页抓取框架； Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以...
    • Scrapy 爬虫框架
      2022-02-17 16:04
      Bruce_Liuxiaowei的博客 Scrapy 爬虫框架 1. 概述 ​ Scrapy是一个可以爬取网站数据，为了提取结构性数据而编写的开源框架。Scrapy的用途非常广泛，不仅可以应用到网络爬虫中，还可以用于数据挖掘、数据监测以及自动化测试等。Scrapy是基于...
    • scrapy简单使用
      2022-06-08 12:39
      星空下的绝狼的博客 关于scrapy的常用命令，组件、功能、流程介绍，让你5分钟搭建属于自己的爬虫项目
    • 没有解决我的问题, 去提问

    悬赏问题

    • ¥15 MapReduce结果输出到HBase，一直连接不上MySQL
    • ¥15 扩散模型sd.webui使用时报错“Nonetype”
    • ¥15 stm32流水灯＋呼吸灯＋外部中断按键
    • ¥15 将二维数组，按照假设的规定，如0/1/0 == "4"，把对应列位置写成一个字符并打印输出该字符
    • ¥15 NX MCD仿真与博途通讯不了啥情况
    • ¥15 win11家庭中文版安装docker遇到Hyper-V启用失败解决办法整理
    • ¥15 gradio的web端页面格式不对的问题
    • ¥15 求大家看看Nonce如何配置
    • ¥15 Matlab怎么求解含参的二重积分？
    • ¥15 苹果手机突然连不上wifi了？