堃堃呐 2022-08-10 12:20 采纳率: 0%
浏览 23

scrapy爬取图片

scrapy爬取图片,但是文件夹里面的图片只有一部分图片

#保存图片
class imgsPipeline(ImagesPipeline):

#该方法可以根据图片地址进行图片数据的请求
def get_media_requests(self, item, info):
    yield scrapy.Request(item['q_logo'])
    print(item['q_logo'])

#指定图片存储的路径
def file_path(self, request, response=None, info=None, *, item=None):
    imgname=item['q_name']+'.jpg'
    print('a')
    return imgname

def item_completed(self, results, item, info):
    return item   #返回即将被下一个执行的管道类
运行结果及报错内容

输出的结果为:好几个q_logo 后面接一个a’
报错到是没有报错 ,但是爬取到文件夹里面的图片数量却是很少

img

我的解答思路和尝试过的方法

我以为输出的内容应该是一个q_logo 也就是一个图片的src输出之后后面应该紧接输出‘a’
据我所观察咩输出一个‘a‘文件里面就会多一个图片

我想要达到的结果

输出的内容为一个q_logo 后面接一个‘a-’
以保证爬取来的图片数量是正确的

  • 写回答

2条回答 默认 最新

  • 快乐小土狗 2022-08-10 12:33
    关注

    看看你是在哪儿调用的这两个函数啊

    评论

报告相同问题?

问题事件

  • 创建了问题 8月10日

悬赏问题

  • ¥15 求解答:pytorch跑yolov8神经网络受挫
  • ¥20 Js代码报错问题不知道怎么解决
  • ¥15 gojs 点击按钮node的position位置进行改变,再次点击回到原来的位置
  • ¥15 计算决策面并仿真附上结果
  • ¥20 halcon 图像拼接
  • ¥15 webstorm上开发的vue3+vite5+typeScript打包时报错
  • ¥15 vue使用gojs,需求在link中的虚线上添加方向箭头
  • ¥15 CSS通配符清除内外边距为什么可以覆盖默认样式?
  • ¥15 SPSS分类模型实训题步骤
  • ¥100 求ASMedia ASM1184e & ASM1187e 芯片datasheet/规格书