一起去彩虹海吧 2022-04-15 15:16 采纳率: 100%
浏览 530
已结题

如果一个网址下不存在robots.txt文件，是不是代表了没有做爬虫限制？求解

如题：如果一个网址下不存在robots.txt文件，是不是代表了没有做爬虫限制？求解

京东的robots.txt文件访问不到，是我输错了吗？
https://www.jd.com/robots.txt

  • 写回答

1条回答 默认 最新

  • 貮叁 2022-04-15 15:55
    关注

    若某网站无robots.txt文件，即默认对于爬虫无限制
    而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果
    如有用请采纳

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 已结题 （查看结题原因） 4月15日
  • 已采纳回答 4月15日
  • 修改了问题 4月15日
  • 修改了问题 4月15日
  • 展开全部

悬赏问题

  • ¥15 一个服务器已经有一个系统了如果用usb再装一个系统，原来的系统会被覆盖掉吗
  • ¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时，终端显示出了sequence handled的进度条，但是并不出结果就自动终止回到命令提示行了是怎么回事：
  • ¥15 前置放大电路与功率放大电路相连放大倍数出现问题
  • ¥30 关于<main>标签页面跳转的问题
  • ¥80 部署运行web自动化项目
  • ¥15 腾讯云如何建立同一个项目中物模型之间的联系
  • ¥30 VMware 云桌面水印如何添加
  • ¥15 用ns3仿真出5G核心网网元
  • ¥15 matlab答疑 关于海上风电的爬坡事件检测
  • ¥88 python部署量化回测异常问题