m0_68133470 2022-11-25 13:33 采纳率: 50%
浏览 15

用webmagic爬取网页时，为什么数据很少，且不稳定

​
首先我爬取网站时，要进入多个网页爬取，用了一个循环自动进入下一页，但是每次最多进入到第三页就自动停止了。有时候一页停止了。
 其次就是进入到了网页，里面的信息也没有爬完，一页最多就爬了三分之一的信息，然后切换到了第二页，不知道为什么啊

​

  • 写回答

2条回答 默认 最新

  • 坚持不懈的大白 前端领域优质创作者 2023-01-11 16:37
    关注

    什么网站，分享出来呗！有的网站为了防止被爬，是做了一些反爬的措施的

    评论

报告相同问题？

问题事件

  • 创建了问题 11月25日

悬赏问题

  • ¥15 Qt下使用tcp获取数据的详细操作
  • ¥15 idea右下角设置编码是灰色的
  • ¥15 全志H618ROM新增分区
  • ¥15 在grasshopper里DrawViewportWires更改预览后，禁用电池仍然显示
  • ¥15 NAO机器人的录音程序保存问题
  • ¥15 C#读写EXCEL文件，不同编译
  • ¥15 MapReduce结果输出到HBase，一直连接不上MySQL
  • ¥15 扩散模型sd.webui使用时报错“Nonetype”
  • ¥15 stm32流水灯＋呼吸灯＋外部中断按键
  • ¥15 将二维数组，按照假设的规定，如0/1/0 == "4"，把对应列位置写成一个字符并打印输出该字符