斥候449 2020-03-24 11:46 采纳率: 100%
浏览 270
已采纳

在pycham中利用爬虫获取数据,数据前半部分丢失问题

本人小白,准备爬取豆瓣top250电影榜单的时候,发现request回来的数据中排名1~8的电影数据没有,不知是设置问题还是代码问题,恳请大佬指正,代码及结果如图_

图片说明
图片说明

感谢回答,问题已经解答:数据其实已经返回,但只是没有显示,也许是数据太多的问题,只是有点难受,但不影响之后的提取操作,如利用xpath进行提取

**class Douban1Spider(scrapy.Spider):
    name = 'douban1'
    allowed_domains = ['https://movie.douban.com/top250']
    start_urls = ['https://movie.douban.com/top250/']

    def parse(self, response):
        node_list = response.xpath("//div[@class='info']")
        filmname = node_list.xpath("./div/a/span[1]/text()").extract()[0]
        print(filmname)**

**返回了之前出现不了《肖申克的救赎》的电影名。

**再次感谢。

  • 写回答

2条回答 默认 最新

  • 放风喽 2020-03-24 15:55
    关注

    终端显示的东西是有限的
    数据太多,就把前面的删除了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大