Run_youngman
2021-07-11 12:56
采纳率: 100%
浏览 76

robots.txt 文件中 Allow: /$有什么含义?

浏览一个网站,发现他的爬虫协议中是这样写的:

User-agent: *
Disallow: /
Allow: /$

不太明白是什么含义,有知道的吗?

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • blkq 2021-07-11 13:16
    已采纳

    这个意思是允许访问/结尾的地址,它在disallow:/后面,所以整体的意思是不允许访问根地址,可以访问其它子一级的/结尾的地址
    有帮助的话,麻烦点个采纳

    1 打赏 评论

相关推荐 更多相似问题