Harry_13weixin 2020-08-31 17:58 采纳率: 0%
浏览 512
已结题

python爬虫BeautifulSoup获取的html跟原网站element不一致

我用BeautifulSoup爬取国外一网站的html里面的点赞的数据,python爬取的html跟原网站(https://www.fiverr.com/categories/video-animation/whiteboard-explainer-videos?source=category_tree&ref=animation_type%3A2d_color&page=4)的element不一致,原网站的点赞数据如图一,但是BeautifulSoup获取的html里面没有,如图2和3,请问有没有大神指导下怎么弄?

  • 写回答

6条回答 默认 最新

  • 浴火_凤凰 2020-08-31 18:22
    关注

    BeautifulSoup获取的是浏览器右键 -查看源文件 打开之后的代码 不是element的代码

    你的问题有2个方案:

    1.使用selenium phantomjs等可以解析JS的包 代替BeautifulSoup

    2.你需要的点赞数据可能是JS加载的 找到那条请求 单独请求那条请求得到点赞数据


    第一个方案相对简单点,第二个需要自己分析请求

    评论

报告相同问题?

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog