Hold_C 2020-07-13 19:48 采纳率: 20%
浏览 229
已采纳

【scrapy爬虫问题】scrapy.xpath解析返回的结果有问题,求解答!!!

想要的效果:

爬取的网站:https://music.163.com/
[图片说明](https://img-ask.csdn.net/upload/202007/13/1594641205_40756.png)
要求返回有多少个dl标签

自己的代码

import scrapy
class music_spider(scrapy.Spider):
    name = "music"
    start_urls = ['https://music.163.com/']
    def parse(self,response):
        dl = response.xpath('//body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl')
        print('=' * 20)
        print(response.url)
        print(len(dl))
        print('=' * 20)
输出的dl为空数组,正确的是在列表中应有三个元素

问题:

dl = response.xpath('//body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl')
返回的dl为空列表
但是把 
//body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl
放在网页源码中搜索会得到三个结果
![图片说明](https://img-ask.csdn.net/upload/202007/13/1594640518_414542.png)
这是为什么?求解!!!
  • 写回答

1条回答 默认 最新

  • 放风喽 2020-07-14 23:29
    关注

    先打印response看看和你在网页上看到的一样吗??

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥50 使用CUDA如何高效的做并行化处理,是否可以多个分段同时进行匹配计算处理?目前数据传输速度有些慢,如何提高速度,使用gdrcopy是否可行?请给出具体意见。
  • ¥15 基于STM32,电机驱动模块为L298N,四路运放电磁传感器,三轮智能小车电磁组电磁循迹(两个电机,一个万向轮),如何通过环岛的原理及完整代码
  • ¥20 机器学习或深度学习问题?困扰了我一个世纪,晚来天欲雪,能饮一杯无?
  • ¥15 c语言数据结构高铁订票系统
  • ¥15 关于wkernell.PDB加载的问题,如何解决?(语言-c#|开发工具-vscode)
  • ¥15 (标签-STM32|关键词-智能小车)
  • ¥20 关于#stm32#的问题,请各位专家解答!
  • ¥15 (标签-python)
  • ¥20 搭建awx,试了很多版本都有错
  • ¥15 java corba的客户端该如何指定使用本地某个固定IP去连接服务端?