胜天半月子 2021-10-11 21:06 采纳率: 44.4%
浏览 80

无法爬取boss直聘岗位信息对应的标签列表

目的：获取li标签列表，从而获取岗位信息和岗位描述

在这里插入图片描述

  • scrapy效果

    在这里插入图片描述

  • requests效果

    在这里插入图片描述

  • selenium效果

    在这里插入图片描述

  • 结论

    使用selenium可以爬取li标签列表，但是使用scrapy框架和requests模块无法得到li标签列表

img

我使用上图使用的方法，在response里面可以找到数据，但是使用request、scrapy无法爬取数据

这是为什么?/font>

  • 写回答

1条回答 默认 最新

  • 运维法拉令 2021-10-14 16:03
    关注

    selenium能获取是因为获取的加载后的页面，scrapy获取的是动态页面

    评论

报告相同问题？

问题事件

  • 修改了问题 10月14日
  • 创建了问题 10月11日