爬斗鱼视频出现了You do not have permission to get URL怎么解决

Question

刚开始爬的时候还好好的，爬了快两天突然拿不到网页的源代码了，并且给我返回了个You do not have permission to get URL '某某链接' from this server. 在headers里加了新的user-agent之后又能重新爬了，可没多久又不能爬了，求lao解释解释具体的原因

Answer 1

一般是禁ip吧，确认换user-agent马上能爬？如果能整个user-agent数组，每次爬的时候随机数组中的其中一个不同user-agent来爬

常见 User-Agent 大全（自己在用） - 正态分个布 - 博客园 偶然发现一个比自己手动切换user_agent更好的方法：传送门————修改于2019_08_30。 分享几个常见的User-Agent吧，复制粘贴过来的，谢谢原创。 时间是挤出来的。。 https://www.cnblogs.com/zrmw/p/9332801.html