安全猴想变牛 2023-10-03 16:52 采纳率: 100%
浏览 14
已结题

robots.txt是用来干嘛的？

robots.txt是用来干嘛的？请求解答
robots.txt是用来干嘛的？请求解答

  • 写回答

1条回答 默认 最新

  • threenewbee 2023-10-03 16:55
    关注

    让搜索引擎爬虫索引或者不索引特定页面。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • 学习react.txt
    2021-10-26 09:15
    qwer22215的博客 public->robots.txt 是否可被爬虫定义 public->manifest.json 移动端或桌面端 安装web app的 基本用不上可以直接删除 src->App.css //当前App的css文件 src->App.js //函数式组件 在.js里写.jsx的 src->index.js //....
  • 认识网络爬虫（一看秒知）
    2024-06-15 22:46
    0dayNu1L的博客 的网页，这样可以有效地减少网页的下载量，减少访问时间和存储空间的耗费，但是增加了。情热点，跟踪目标话题，并根据一定的标准采取相应的舆情控制与引导措施。放到自己的平台上展示，并提供横向数据的比较，帮助...
  • 第十章：Next的Seo实践
    2025-06-02 15:38
    溪饱鱼的博客 ✅ 正确配置 robots.txt 可以带来以下好处： 指导爬虫 如何抓取网站内容 防止敏感或无价值页面 被索引 优化爬取效率，避免资源浪费 间接提升 SEO 表现 在 Next.js 应用中，我们常用以下两种方式来实现 robots.txt：...
  • 什么是SEO？SEO干嘛的？怎么做SEO？
    2014-08-05 19:39
    weixin_34413357的博客 SEO是干嘛的？蜗牛认为，是时候让大家知道这些不为外人所知的真相了。且听蜗牛慢慢道来吧。 一、什么是SEO？SEO是干嘛的？ SEO（Search Engine Optimization），汉译为搜索引擎优化。搜索引擎优化是一种利用搜索...
  • 你真的会信息收集嘛，信息收集10大技巧，4k文案超详细解析——渗透测试
    2025-07-31 15:53
    编程瞬息全宇宙的博客 被动收集通过公开渠道获取信息，如搜索引擎、网络空间测绘平台（FOFA、Shodan）、Whois查询、备案信息和社交媒体分析等，具有隐蔽性强的特点。主动收集则通过直接交互获取数据，包括端口扫描（Nmap）、网络映射、DNS...
  • 从贝叶斯方法谈到贝叶斯网络
    2019-09-05 22:51
    daihao1413的博客 原 从贝叶斯方法谈到贝叶斯网络 ...
  • 网络安全与常见攻击形式
    2019-08-20 11:32
    qq_42036203的博客 常见web安全攻防 网站安全的重要性大家能达成一致意见，作为web作业人员必须的在设计和开发的过程中考虑安全问题，并且能有效防御。这篇文章主要的内容就是分析几种常见的攻击的类型以及防御的方法。 服务器 之前...
  • 底什么是伪静态？为什么要做伪静态？
    2022-03-27 22:37
    开源字节的博客 看完此文，你就能完全了解伪静态，因为开源字节用对比的方法，让你认识到整个URL链接结构的状态。我们通过对比“静态页面”，“动态页面”，“真静态页面”，“伪静态页面”以及他们对应的优缺点。来深入了解其概念...
  • 【web前端之超高频面试题整理】项目类&Web安全之超实用篇
    2024-10-02 09:10
    墨家巨子@社会龙的博客 项目类&Web网络安全篇，将带你全面梳理前端开发中常见的项目类问题以及Web网络安全方面的考点。文章不仅涵盖项目开发中的关键技术栈与架构设计，还深入探讨了如XSS、CSRF等网络安全威胁及其应对策略。通过对这些高频...
  • 打靶日记 VulnHub靶机 Stapler
    2025-03-24 21:57
    临观_的博客 kathy: 自定义共享，注释说Fred你在这干嘛，猜测可能会有一些信息 tmp: 临时文件共享，注释提示说临时文件都存在这，可能开放写入权限。 IPC$: 用于远程管理通信的共享，不可直接访问文件，但可用于枚举用户或服务...
  • Python高阶---数据分析和网络爬虫
    2022-09-20 23:48
    肥大毛的博客 Python高阶---数据分析和网络爬虫
  • CTFshow web入门题信息收集
    2025-05-10 02:13
    Mikkob的博客 结合题目bp抓包看一下回显 不习惯bp的话f12，然后选择网络f5刷新一下也能看见响应数据包 web4 按照之前的几种方式操作下来没有什么信息，但题目有robots提示 这里还是不去看题目提示自己使用dirsearch - u扫一下网站...
  • Tr0ll2 vulnhub靶场（缓冲区溢出）
    2023-03-12 00:49
    川川小宝的博客 h 192.168.181.155 目录扫描 dirb http://192.168.181.155 组合起来是段话，暂时没想明白干嘛用的 没用，换个角度 开启了ftp服务，但没啥信息，还是从这里入手试试吧 可惜了，没办法直接用anonymous登录 试试上面...
  • Rick_and_Morty_S01E01
    2023-12-13 12:49
    小目标一个亿的博客 校对: 史努比嘟 4 00:00:10,900 --> 00:00:15,900 - 别拉得这么用劲儿啊 - 给你个惊喜 Morty - Ow! You're tugging me too hard. - I got a surprise for you, Morty. 后期: Nico 嗷 Ow! 5 00:00:15,900 --> 00:00:...
  • DeepLab系列原理与代码实例讲解
    2024-08-05 00:58
    光子AI的博客 数学模型和公式详细讲解举例说明 4.1 空洞卷积公式 空洞卷积可以用以下公式表示: $$ y[i] = \sum_{k=1}^{K} x[i + r \cdot k] w[k] $$ 其中: $y[i]$ 是输出特征图的第 $i$ 个元素 $x$ 是输入特征图 $w$ 是卷积核...
  • 贝叶斯网络
    2017-12-21 09:58
    cas-王文武的博客 从贝叶斯方法谈到贝叶斯网络 0 引言  事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯
  • 计算机视觉是否已经进入瓶颈期？
    2020-09-27 09:33
    喜欢打酱油的老鸟的博客 deep reinforcement learning 刚好就是干这个事的，所以关注的人也很多，也很work，我自己也在无人车仿真玩过，效果真不错（当然做到真正强AI, deep RL目前也有自己的缺陷）。 想想baby 的学习过程中 ， 学习...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 10月12日
  • 已采纳回答 10月4日
  • 创建了问题 10月3日