liilaG 2022-11-25 04:07
浏览 0

scrapy下载图片后只能保存最后一个item的文本信息

scrapy下载图片后只能保存最后一个item的文本信息

spider部分

import scrapy
from myscrapy.items import musicItem

class doubanAlbumSpider(scrapy.Spider):
    name = "albumspider"
    start_urls = ['https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=0&type=T']
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
    }

    def start_requests(self):
        url = 'https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=0&type=T'
        yield scrapy.Request(url, headers=self.headers)
    
    def parse(self,response):
        item = musicItem()
        albums = response.xpath(r"//tr[@class='item']")
        for album in albums:
            item['alname'] = " ".join(album.xpath(r"./td/div/a/text()")[0].extract().split())
            item['detailUrl'] = album.xpath(r"./td/a/@href")[0].extract()
            item['imageUrl'] = (r"/m/").join(album.xpath(r"./td/a/img/@src")[0].extract().split(r"/s/"))
            yield(item)

item部分

class musicItem(scrapy.Item):
    alname = scrapy.Field()
    imageUrl = scrapy.Field()
    detailUrl = scrapy.Field()
    image = scrapy.Field()
    image_paths = scrapy.Field()

加入的pipeline

from scrapy.pipelines.images import ImagesPipeline
import scrapy

class DoubanImagePipeline(ImagesPipeline):
    default_headers = {
        'accept': 'image/webp,image/*,*/*;q=0.8',
        'accept-encoding': 'gzip, deflate, sdch, br',
        'accept-language': 'zh-CN,zh;q=0.8,en;q=0.6',
        'cookie': 'bid=yQdC/AzTaCw',
        'referer': 'https://www.douban.com/',
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
    }
 
    def get_media_requests(self, item, info):
        yield scrapy.Request(url=item['imageUrl'])

在没有添加存储的pipeline时,所有数据都能保存(专辑名,封面url和详情页url),但加入pipeline后虽然图片可以正常下载,但是前面保存的数据都被最后一行覆盖了。

img

img

  • 写回答

0条回答

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 创建了问题 11月25日

      悬赏问题

      • ¥15 粘贴替换字符串的时候,右边引号会自动换行导致报错
      • ¥15 用verilog HDL语法仿真
      • ¥15 用超表面产生涡旋光束,怎么用matlab代码算得到的涡旋光束的模式纯度
      • ¥40 返乡没拿电脑航班取消被困在机场了,C语言实验ddl要到了
      • ¥15 find 命令优化语句问题
      • ¥15 js 使用contenteditable属性模拟富文本框 实现具体关键字高亮
      • ¥15 QT QList<QLIst<int>> 遍历问题
      • ¥15 关于#C++#2048游戏问题
      • ¥15 这种html怎么制作
      • ¥60 高仿微信的即时通讯app