m0_72710971 2022-08-05 11:33 采纳率: 20%
浏览 11

python爬虫问题

在爬某店铺地址前十页时，第九页还能正常出内容，第十页开始就是出的单个数据，而且这个数据还是第一页的内容，为什么呀？

  • 写回答

2条回答 默认 最新

  • Yeats_Liao Java领域优质创作者 2022-08-05 11:39
    关注

    Robots协议也称作爬虫协议，用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取，有些电商网站，你爬取一定数量，就认定你为恶意爬取了，不再让你爬出正常内容，相当于一种限制

    评论

报告相同问题？

问题事件

  • 创建了问题 8月5日

悬赏问题

  • ¥20 limma多组间分析最终p值只有一个
  • ¥15 nopCommerce开发问题
  • ¥15 torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with signal SIGKILL
  • ¥15 QuartusⅡ15.0编译项目后，output_files中的.jdi、.sld、.sof不更新怎么解决
  • ¥15 pycharm输出和导师的一样，但是标红
  • ¥15 想问问富文本拿到的html怎么转成docx的
  • ¥15 我看了您的文章，遇到了个问题。
  • ¥15 GitHubssh虚拟机连接不上
  • ¥15 装完kali之后下载Google输入法 重启电脑后出现以下状况 且退不出去 桌面消失 反复重启没用
  • ¥15 ESP-IDP-BLE配网连接wifi