Mr_yuhan6 2022-10-16 01:14 采纳率: 55.6%
浏览 16
已结题

scrapy通用爬虫parse解析中的问题

使用scrapy配置通用爬虫的时候怎么parse_item()函数里的数据没用解析出来为什么

这是代码

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapyuniversal.utils import get_config
from scrapyuniversal.rules import rules
from scrapyuniversal import urls

class UniversalSpider(CrawlSpider):

name = 'universal'

def __init__(self, name, *args, **kwargs):
    super().__init__(*args, **kwargs)
    config = get_config(name)
    self.config = config
    self.rules = rules.get(config.get('rules'))
    start_urls = config.get('start_urls')
    print(start_urls)
    if start_urls:
        if start_urls.get('type') == 'static':
            self.start_urls = start_urls.get('value')
        elif start_urls.get('type') == 'dynamic':
            self.start_urls = list(eval('urls.' + start_urls.get('method'))(*start_urls.get('args', [])))
    self.allowed_domains = config.get('allowed_domains')
    # super(UniversalSpider, self).__init__(*args, **kwargs)

def parse_item(self, response):
    item = self.config.get('item')
    if item:
        cls = eval(item.get('class'))()
        loader = eval(item.get('loader'))(cls, response=response)
        # 动态获取属性配置
        for key, value in item.get('attrs').items():
            for extractor in value:
                if extractor.get('method') == 'xpath':
                    loader.add_xpath(key, *extractor.get('args'), **{'re': extractor.get('re')})
                if extractor.get('method') == 'css':
                    loader.add_css(key, *extractor.get('args'), **{'re': extractor.get('re')})
                if extractor.get('method') == 'value':
                    loader.add_value(key, *extractor.get('args'), **{'re': extractor.get('re')})
                if extractor.get('method') == 'attr':
                    loader.add_value(key, getattr(response, *extractor.get('args')))
        yield loader.load_item()

这是运行结果截图

img

  • 写回答

1条回答 默认 最新

  • honestman_ 2022-10-16 09:54
    关注

    检查一下parse item 函数的response是否是正常的

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 11月9日
  • 已采纳回答 11月1日
  • 创建了问题 10月16日

悬赏问题

  • ¥15 商城生产日期批次库存问题
  • ¥15 esp8266控制共阳极wrgb灯板无法关闭所有led灯
  • ¥100 python读取速度问题
  • ¥15 stm32f407使用DMA问题
  • ¥15 您好 这个API接口该怎么弄 网站搭建好了 API也有 现在就不知道该怎么填写API 不知道怎么用
  • ¥88 用uniapp写一个多端的程序,用到高德地图,用高德的JSAPI吗?
  • ¥20 关于#c++#的问题:水果店管理系统
  • ¥30 dbLinq最新版linq sqlite
  • ¥20 对D盘进行分盘之前没有将visual studio2022卸载掉,现在该如何下载回来
  • ¥15 完成虚拟机环境配置,还有安装kettle