Wxylkxy0 2021-07-11 22:27 采纳率: 0%
浏览 16

centos下基于scrapy的imagspipelins无法接收到item

img
如图,在进行某网站的图片爬取时在本机windows下可以正常运行爬取图片到本地。
传到服务器上imagspipelins无法接收到item
实测默认管道可以接收到。

  • 写回答

1条回答 默认 最新

  • 小旭的前端笔记 2022-12-19 16:10
    关注

    在 CentOS 系统中使用 Scrapy 的 ImagePipeline 无法接收到 Item 的情况可能有以下几种原因:

    没有正确地设置 ITEM_PIPELINES。在 Scrapy 项目的 settings.py 文件中,需要正确设置 ITEM_PIPELINES 配置项,并将 ImagePipeline 添加到其中。

    在 Item 中没有定义图片 URL 字段。ImagePipeline 需要在 Item 中有一个字段来存储图片的 URL,如果 Item 中没有这个字段,则 ImagePipeline 无法工作。

    在 Item 中定义的图片 URL 字段不正确。如果 Item 中定义的图片 URL 字段名称与 ImagePipeline 中配置的不一致,则 ImagePipeline 也无法工作。

    图片 URL 无效。如果 Item 中的图片 URL 是一个无效的链接,则 ImagePipeline 也无法工作。

    如果你遇到了这个问题,你可以尝试检查这些因素,并根据需要进行修改和调整,以解决这个问题。
    (谢谢采纳,请采纳)

    评论

报告相同问题?

问题事件

  • 创建了问题 7月11日

悬赏问题

  • ¥15 PointNet++的onnx模型只能使用一次
  • ¥20 西南科技大学数字信号处理
  • ¥15 有两个非常“自以为是”烦人的问题急期待大家解决!
  • ¥30 STM32 INMP441无法读取数据
  • ¥15 R语言绘制密度图,一个密度曲线内fill不同颜色如何实现
  • ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
  • ¥15 用visualstudio2022创建vue项目后无法启动
  • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
  • ¥500 把面具戴到人脸上,请大家贡献智慧,别用大模型回答,大模型的答案没啥用
  • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。