Wxylkxy0 2021-07-11 22:27 采纳率: 0%
浏览 16

centos下基于scrapy的imagspipelins无法接收到item

img
如图,在进行某网站的图片爬取时在本机windows下可以正常运行爬取图片到本地。
传到服务器上imagspipelins无法接收到item
实测默认管道可以接收到。

  • 写回答

1条回答 默认 最新

  • 小旭的前端笔记 2022-12-19 16:10
    关注

    在 CentOS 系统中使用 Scrapy 的 ImagePipeline 无法接收到 Item 的情况可能有以下几种原因:

    没有正确地设置 ITEM_PIPELINES。在 Scrapy 项目的 settings.py 文件中,需要正确设置 ITEM_PIPELINES 配置项,并将 ImagePipeline 添加到其中。

    在 Item 中没有定义图片 URL 字段。ImagePipeline 需要在 Item 中有一个字段来存储图片的 URL,如果 Item 中没有这个字段,则 ImagePipeline 无法工作。

    在 Item 中定义的图片 URL 字段不正确。如果 Item 中定义的图片 URL 字段名称与 ImagePipeline 中配置的不一致,则 ImagePipeline 也无法工作。

    图片 URL 无效。如果 Item 中的图片 URL 是一个无效的链接,则 ImagePipeline 也无法工作。

    如果你遇到了这个问题,你可以尝试检查这些因素,并根据需要进行修改和调整,以解决这个问题。
    (谢谢采纳,请采纳)

    评论

报告相同问题?

问题事件

  • 创建了问题 7月11日

悬赏问题

  • ¥15 matlab数据降噪处理,提高数据的可信度,确保峰值信号的不损失?
  • ¥15 怎么看我在bios每次修改的日志
  • ¥15 python+mysql图书管理系统
  • ¥15 Questasim Error: (vcom-13)
  • ¥15 船舶旋回实验matlab
  • ¥30 SQL 数组,游标,递归覆盖原值
  • ¥15 为什么我的数据接收的那么慢呀有没有完整的 hal 库并 代码呀有的话能不能发我一份并且我用 printf 函数显示处理之后的数据,用 debug 就不能运行了呢
  • ¥20 gitlab 中文路径,无法下载
  • ¥15 用动态规划算法均分纸牌
  • ¥30 udp socket,bind 0.0.0.0 ,如何自动选取用户访问的服务器IP来回复数据