m0_46651307
WMboat
采纳率100%
2020-07-03 11:16

在 python scrapy爬虫框架:response.xpath()的返回值是[ ],这个怎么解决?

已采纳

我在用xpath helper插件都可以检索到:图片说明

但是运行时的显示值是None或者[]。

这是scrapy shell的解析:
图片说明

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

4条回答

  • a531384660 mollpppp 9月前

    考虑网页的内容使用了ajax,使用右键-》查看网页源代码,看是否仍然能获得指定的内容

    点赞 1 评论 复制链接分享
  • qq_41897431 岸屿 9月前

    可以加个判断吧,if 返回为[]就continue

    点赞 1 评论 复制链接分享
  • qq_27525533 陈启灵 9月前

    你可以在浏览器里使用f12进行分析,选择network 里面的xhr里找找 找一个ajax进行获取 他的名字应该就包含你要的页数。

    点赞 评论 复制链接分享
  • clc_vi clc_vi 9月前

    你可以先看下你response的网页源代码和你浏览器的是不是一样的,先确定有没有在看xpath语法

    点赞 评论 复制链接分享