xiaoxu9 2022-10-16 18:35 采纳率: 0%
浏览 14

关于使用java爬取数据时，响应体内容和控制台元素内容不同，怎么获取呢

刚入门爬虫，想要爬取页面一些数据时，发现一些网页源码和控制台元素的内容不同（源码缺失一部分主要元素），控制台元素的内容都是齐全的，想要通过控制台元素数据时，发现源码缺失我需要的，请问怎么解决的，我用的是java webmagic 来获取的，无从下手

  • 写回答

1条回答 默认 最新

  • 芜湖' 2022-10-16 22:10
    关注

    爬虫的原理基本都是一致的吧，
    既然会在页面上显示数据，就肯定需要发出请求，找到对应的请求，直接从请求中获取数据就行
    用的方法就看个人了

    评论

报告相同问题？

问题事件

  • 修改了问题 10月16日
  • 创建了问题 10月16日

悬赏问题

  • ¥15 readimage函数怎么读取变量图片地址
  • ¥50 网课里面实习定位打卡
  • ¥50 Delphi 非客户区窗口阴影？
  • ¥15 cv2 morphologyEx函数报错
  • ¥15 有没有知道鸿蒙OS高级开发者新题答案的
  • ¥15 有没有人能帮我一下android
  • ¥20 做一个干部信息管理系统 软件
  • ¥15 通过4G模块EC600N向阿里云物联网平台物模型上面发送字符串，现在发送int数据是成功的，发送字符串就是不成功
  • ¥15 IDA反编译，代码识别失败
  • ¥70 matlab代码修改