m0_57965808 2021-10-20 21:00 采纳率: 91.2%
浏览 17
已结题

爬取网站发现网站的数据量不对

标题其实描述的不准确,其实是我在试着爬取某文库,在写之前粗略计算了一下它包含的文档的量,发现就它明面上标出来的量不过12万左右,未免太少了。想知道剩下的量该怎么爬取?

img

  • 写回答

1条回答 默认 最新

  • CSDN专家-HGJ 2021-10-20 21:05
    关注

    有数据链接,有效请求才能获取数据,剩下的数据你也需要借助浏览器开发者工具去分析数据加载方式,参数传递要求等。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月29日
  • 已采纳回答 10月21日
  • 创建了问题 10月20日

悬赏问题

  • ¥20 西南科技大学数字信号处理
  • ¥15 有两个非常“自以为是”烦人的问题急期待大家解决!
  • ¥30 STM32 INMP441无法读取数据
  • ¥15 R语言绘制密度图,一个密度曲线内fill不同颜色如何实现
  • ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
  • ¥15 用visualstudio2022创建vue项目后无法启动
  • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
  • ¥15 pyqt信号槽连接写法
  • ¥500 把面具戴到人脸上,请大家贡献智慧,别用大模型回答,大模型的答案没啥用
  • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。