极光Blink 2021-03-02 00:19 采纳率: 0%
浏览 522

爬虫，爬取的网页源码为啥中间一部分缺失

 最需要的那部分缺失了，因为页面是异步加载返回吗？

  • 写回答

1条回答 默认 最新

  • CSDN技术专家团—麒麟奇 2021-03-02 07:55
    关注

    这部分html内容是用脚本运行时写入的，可以使用chrome开发者工具找到对应的脚本。

    下图是在chrome开发者工具中断点的方法，添加断点后，刷新网页可以找到对应的脚本

     

    1. 如果内容来自服务端其他的url，可从这个url获取内容

    2. 如果内容在当前网页的脚本中，可以通过正则re分析获取内容

    评论

报告相同问题？

悬赏问题

  • ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集
  • ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)（相关搜索：51单片机|单片机|测试代码）
  • ¥15 电力市场出清matlab yalmip kkt 双层优化问题
  • ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)
  • ¥20 matlab yalmip kkt 双层优化问题
  • ¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体
  • ¥88 实在没有想法，需要个思路
  • ¥15 MATLAB报错输入参数太多