Run_youngman 2021-07-11 12:56 采纳率: 60%
浏览 334
已采纳

robots.txt 文件中 Allow: /$有什么含义?

浏览一个网站,发现他的爬虫协议中是这样写的:

User-agent: *
Disallow: /
Allow: /$

不太明白是什么含义,有知道的吗?

  • 写回答

1条回答 默认 最新

  • blkq 2021-07-11 13:16
    关注

    这个意思是允许访问/结尾的地址,它在disallow:/后面,所以整体的意思是不允许访问根地址,可以访问其它子一级的/结尾的地址
    有帮助的话,麻烦点个采纳

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 已采纳回答 7月12日
  • 创建了问题 7月11日