1条回答
- geeyeek 2016-02-26 11:33关注
这个本来只是让爬虫知道哪里你不能爬,但是同样也给出了robots.txt所在目录下的目录结构,这些路径大多数都是存放静态资源,谁访问都可以,但是有时候这些目录下可能你是用了各种插件之类的,然后就可能存在可执行文件,各种可执行文件都有可能存在漏洞让人攻击。
很多网站都会会放这个,而且都能访问,你可以去看看百度的,淘宝的,都可以直接看,但其实大多数网站不放也没啥问题。解决 无用评论 打赏 举报
悬赏问题
- ¥15 #MATLAB仿真#车辆换道路径规划
- ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
- ¥15 数据可视化Python
- ¥15 要给毕业设计添加扫码登录的功能!!有偿
- ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗?
- ¥15 微信公众号自制会员卡没有收款渠道啊
- ¥100 Jenkins自动化部署—悬赏100元
- ¥15 关于#python#的问题:求帮写python代码
- ¥20 MATLAB画图图形出现上下震荡的线条
- ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘