Robots.txt到底怎么看？

Question

本人在学习python爬虫的时候第一个注意的就是该怎么看网站能不能爬取，于是了解了Robots.txt。
所以本人除了之前偷偷尝试巴拉过一些数据以外都没有将这些在Robots.txt中禁止的网站中的api用于任何项目开源
但是近几天发现好多开源部署的api本质用的就是那些，而今天更是看到了一个爬取B站视频的博文上了热度，
我有点蒙圈了，B站的Robots.txt不是写着User-agent: * Disallow: /吗？就这么公开教学？
有没有懂行的解释一下这个到底怎么看？开源或者教程就可以忽略它吗？

Answer 1

如果要爬的话，可以绕过就行。只要不是爬一些隐私未公开的隐私数据，一般来说，是没有什么问题的。当然你不能把别人的服务器给搞崩了，影响别人正常的业务运行。