Swarm413 2021-12-19 18:28 采纳率: 33.3%
浏览 7

请问rotbots.txt阻止该怎么写

目前是这样，

User-agent: *
Disallow:

我不想让后台页面和404页面被搜索引擎收录
后台页面的路径是/views/backstage/backstage-advice.html和/views/backstage/backstage-detail.html
404页面的路径是/views/404.html

但是路由设定是www.a.com/404.html 返回404页面
www.a.com/backstage-advice.html 返回backstage-advice.html页面
www.a.com/backstage-detail.html返回 backstage-detail.html页面

那，我的robots.txt该这样写吗

User-agent: *
Disallow: 
Disallow: /backstage/
Disallow: /404.html
  • 写回答

1条回答 默认 最新

  • 码云笔记 后端领域优质创作者 2021-12-22 11:44
    关注

    站长工具可以一键生成

    评论

报告相同问题？

  • robots.txt禁止收录协议写法{完整版}
    2020-07-10 11:35
    sunsineq的博客 当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt， 如果存在，根据文件内容来确定访问范围，如果没有，蜘蛛就沿着链接抓取。robots.txt放在项目的根目录下。 2.robots.txt语法 1...
  • 【每天学习一点新知识】robots.txt详解
    2022-10-10 22:07
    RexHarrr的博客 robots.txt是一个协议,我们可以把它理解为一个网站的"管家",它会告诉搜索引擎哪些页面可以访问,哪些页面不能访问。也可以规定哪些搜索引擎可以访问我们的网站而哪些搜索引擎不能爬取我们网站的信息等等,是网站管理者...
  • 网站如何通过配置 robots.txt 来禁止以及允许搜索引擎的搜索
    2022-07-05 15:00
    早日升天的博客 1.禁止所有搜索引擎访问所有目录 2.允许所有搜索引擎访问所有目录
  • robots.txt 禁止收录协议的写法
    2017-03-20 14:40
    湘道的博客 当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt， 如果存在，根据文件内容来确定访问范围，如果没有，蜘蛛就沿着链接抓取。robots.txt 放在项目的根目录下。 2. robots.txt...
  • Robot.txt和Sitemap
    2020-06-18 11:08
    南方有乔木的博客 您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。 User-agent：该...
  • 禁止搜索引擎收录的方法--robots.txt写法
    2011-12-05 17:19
    qingwangyoucao的博客 robots.txt是网站seo优化中起着很重要的作用，robots.txt是搜索引擎访问网站时需要查看的第一个文件，搜索引擎蜘蛛来到一个站点，首先要检查站点根目录下是否存在robots.txt，如果有，就会按照该文件中的内容确定...
  • [CTF/网络安全] 攻防世界 robots 解题详析
    2023-05-20 21:59
    秋说的博客 通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。 下面是一个简单的robots.txt示例： User-agent: * Disallow: /private/ Disallow: /admin...
  • WordPress纯代码html地图,wordpress纯代码生成网站地图sitemap.xml
    2021-06-14 06:56
    许桐楷的博客 但是这类插件往往刚开始的时候都是“中规中矩”的，在有了一定的安装量后就会有各种捆绑的“推广”、“营销”类的动作让人是烦不胜烦呀，最近在部署 SSL 后，感觉需要向各个搜索引擎提交一下站点地图(sitemap.xml)，...
  • 个人博客 SEO 优化（1）：搜索引擎原理介绍
    2018-04-14 12:54
    前端超人的博客 文章首发于我的博客：个人博客 SEO 优化（1）：搜索引擎原理介绍 写在文章前面： 前段时间接到一个 SEO 优化的私活。为了完成这个活，只能赶鸭子上架，从零开始系统地去学习 SEO 知识。经过几天的学习后，也算是...
  • robots 禁止所有搜索引擎爬取
    2020-04-26 20:53
    张靖力的博客 User-agent: * Disallow:/
  • WordPress系列教程(三)----站点地图(sitemap)制作
    2018-09-22 19:51
    码农致富的博客 站点地图(sitemap)可以将整个网站所有的链接地址汇聚到一个页面，然后提交给搜索引擎，有利于网站的SEO优化。   二、使用插件 WordPress中有很多插件，可以通过插件的方式来创建网站地图，使用的是Baidu Sitemap...
  • 网站的robots 文件写法 附自动生成工具网址
    2017-11-14 00:13
    weixin_34247299的博客 现在网站站长为了网站内容更多被各大搜索引擎收录，会在robots.txt中写入各种规则， 现介绍一个方便的方法，到一个网站自动生成： 网址如下：http://tool.chinaz.com/robots/ 另引用一下robots的基本写法： robots...
  • 爬虫的“盗亦有道“-Robots协议
    2021-03-12 22:27
    xiangzikou的博客 小规模，数量小，爬去速度不敏感，requests库 中规模，数据规模较大，爬取速度敏感scrapy库 大规模，搜索引擎,爬取速度关键定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫引发的问题 性能...
  • Hexo 个人博客 SEO 优化（1）：搜索引擎原理介绍
    2018-05-01 05:27
    weixin_34143774的博客 文章首发于我的博客：Hexo 个人博客 SEO 优化（1）：搜索引擎原理介绍 Hexo 个人博客 SEO 优化（1）：搜索引擎原理介绍 Hexo 个人博客 SEO 优化（2）：站内优化 Hexo 个人博客 SEO 优化（3）：改造你的博客，提升...
  • SEO优化利器：3分钟精通robots写法
    2017-06-09 12:33
    songhao8080的博客 我们该如何去写？阿泽在要告诉大家的是，做好robots文件会让你的网站更快收录，从而更快排名。它是SEO优化的一大利器！ 首先，我们应该清楚的了解，robots文件是用来做什么的？ 其实robots文件是一种...
  • block yandex bot
    2022-07-13 16:25
    爬虫专业户的博客 在 yandex bot user agent 这篇文章中，我总结了所有 yandexbot 的 User-agent，通过那篇文章，我们可以看出有些 Yandexbot 遵守 robots.txt 协议 ，有些不遵守 robots.txt 协议。我们需要屏蔽 yandexbot（block ...
  • BUUCTF(web刷题记录一)
    2022-04-16 13:51
    narukuuuu的博客 应该是还有其他的切入点没有发现，再回去进行一波信息收集，查看robots.txt 发现有备份文件，访问直接下载，是源码 name = $name; $this->age = (int)$age; $this->blog = $blog; } function get($url) { $ch = curl...
  • 爬虫的"盗亦有道"-Robots协议
    2017-05-14 11:35
    weixin_33787529的博客 网络爬虫的君子协议 执着 网络爬虫的尺寸 ...大规模，搜索引擎,爬取速度关键定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫引发的问题 性能骚扰 法律风险 隐私泄...
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 12月19日

悬赏问题

  • ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
  • ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
  • ¥15 乘性高斯噪声在深度学习网络中的应用
  • ¥15 运筹学排序问题中的在线排序
  • ¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
  • ¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
  • ¥15 C++ 头文件/宏冲突问题解决
  • ¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
  • ¥50 安卓adb backup备份子用户应用数据失败
  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛