漏洞扫描：robots文件网站结构信息泄漏

Question

这个应该怎么解决呢？下面是网站上打开的robots.txt文件
新手上路，多谢关照！！！

Answer 1

这个本来只是让爬虫知道哪里你不能爬，但是同样也给出了robots.txt所在目录下的目录结构，这些路径大多数都是存放静态资源，谁访问都可以，但是有时候这些目录下可能你是用了各种插件之类的，然后就可能存在可执行文件，各种可执行文件都有可能存在漏洞让人攻击。
很多网站都会会放这个，而且都能访问，你可以去看看百度的，淘宝的，都可以直接看，但其实大多数网站不放也没啥问题。