1条回答
- geeyeek 2016-02-26 11:33关注
这个本来只是让爬虫知道哪里你不能爬,但是同样也给出了robots.txt所在目录下的目录结构,这些路径大多数都是存放静态资源,谁访问都可以,但是有时候这些目录下可能你是用了各种插件之类的,然后就可能存在可执行文件,各种可执行文件都有可能存在漏洞让人攻击。
很多网站都会会放这个,而且都能访问,你可以去看看百度的,淘宝的,都可以直接看,但其实大多数网站不放也没啥问题。解决 无用评论 打赏 举报
悬赏问题
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题!
- ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
- ¥15 求daily translation(DT)偏差订正方法的代码
- ¥15 js调用html页面需要隐藏某个按钮
- ¥15 ads仿真结果在圆图上是怎么读数的
- ¥20 Cotex M3的调试和程序执行方式是什么样的?
- ¥20 java项目连接sqlserver时报ssl相关错误