weixin_44429662 2019-01-12 16:49
浏览 408

问下用scrapy怎么只爬了一页

import scrapy


class CnBlogSpider(scrapy.Spider):
    name = "cnblogs"
    start_urls = [
        'http://www.cnblogs.com/pick/#p%s' %p for p in range(1, 11)
        ]

    def parse(self, response):
        for article in response.xpath('//div[@class="post_item"]'):


            yield {
                'title': article.xpath('div[@class="post_item_body"]/h3/a/text()').extract_first().strip(),

            }


想爬1道10页的,结果一直停留在第一页,还很多重复,不知道哪里错了,有人知道吗

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥15 基于卷积神经网络的声纹识别
    • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
    • ¥100 为什么这个恒流源电路不能恒流?
    • ¥15 有偿求跨组件数据流路径图
    • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
    • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
    • ¥15 CSAPPattacklab
    • ¥15 一直显示正在等待HID—ISP
    • ¥15 Python turtle 画图
    • ¥15 stm32开发clion时遇到的编译问题