不停下脚步的乌龟 2020-10-02 12:35 采纳率: 75%
浏览 287

爬虫软件只能爬取网页前几也的数据，是被反爬了吗？

试了两款爬虫软件，翻页设置都没问题，运行后前5页都正常，爬取到第5页就停止运行了，这是我自己设置错误还是网页反爬了呀？

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-10-02 13:32
    关注

    fiddler抓包看看。
    另外连续快速用浏览器访问网页，看看是否有验证码、报错等

    评论

报告相同问题？

悬赏问题

  • ¥60 QQOP数据，什么是op数据号，怎么提取op数据！能不能大量提取(语言-c语言)
  • ¥15 matlab代码 关于微分方程和嵌套的分段函数。
  • ¥15 把VMware项目复制到另一台电脑
  • ¥15 onlyoffice编辑完后立即下载，下载的不是最新编辑的文档
  • ¥15 求caverdock使用教程
  • ¥15 Coze智能助手搭建过程中的问题请教
  • ¥15 12864只亮屏 不显示汉字
  • ¥20 三极管1000倍放大电路
  • ¥15 vscode报错如何解决
  • ¥15 前端vue CryptoJS Aes CBC加密后端java解密