weixin_42847617 2022-07-31 21:43 采纳率: 0%
浏览 53

【scrapy 爬虫问题】 爬虫文件的parse函数没有执行,求解答

问题遇到的现象和发生背景

setting文件中的代理也改为谷歌浏览器的了,其他都是默认的

问题相关代码,请勿粘贴截图

import scrapy
from pachong2.items import MovieItem
from scrapy import Selector

class DoubanSpider(scrapy.Spider):
name = 'douban'
allowed_domains = ['movie.douban.com']
start_urls = ['http://movie.douban.com/top250']

def parse(self, response):
    print(2)
    sel = Selector(response)
    list_items = sel.css('#content > div > div.article > ol> li')
    print(list_items)
    for list_item in list_items:
        movie_item = MovieItem()
        movie_item['title'] = list_item.css('span.title::text').extract_first()
        movie_item['score'] = list_item.css('class.rating_num::text').extract_first()
    yield movie_item

版权声明:本文为CSDN博主「weixin_42847617」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_42847617/article/details/126064623

运行结果及报错内容

不打印'2',也就是没执行parse

我的解答思路和尝试过的方法

scrapy crawl douban --nolog执行后发现没有爬东西,然后我加了一个print(2)后发现也不打印,那就是parse方法没执行

img

img

  • 写回答

1条回答 默认 最新

  • 快乐小土狗 2022-07-31 22:21
    关注

    你把这个语句删掉试试呢,
    看打不打印2

    评论

报告相同问题?

问题事件

  • 创建了问题 7月31日

悬赏问题

  • ¥15 STM32F103C8T6使用标准库stm32f10x.h驱动ws2812
  • ¥20 我是数控机床电气工程师,主要是做840DSL与one,请问如何自学
  • ¥20 显示器休眠后重新唤醒出现蓝屏,蓝屏代码为DRIVER-POWER.STATE-FAILURE
  • ¥20 alt+tab怎么恢复到以前的模式
  • ¥15 来一个会抓包app支付链接的
  • ¥15 MMdetection安装
  • ¥15 STM32U535系列stop3模式进入和RTC唤醒
  • ¥15 如何提取全民K歌没下载过但播放过很多次的音频?
  • ¥15 树莓派运行detect.py
  • ¥15 pdfplumber提起文本内容如何过滤水印内容