java抓取网页数据时由于频繁导致ip被禁

Question

抓取一定数量后会被禁掉,需要输入验证码,需要使用代理ip吗?如何使用代理ip?还是有其他的方法可以解决呢

Answer 1

你可以设置时间间隔，比如每隔1秒或几秒抓取一次。抓取到N次的时候间隔半个小时或者一个小时。然后你可以尝试一下获取验证码，看看能不能用Java后台把验证码输入进去。代理ip的话你有也可以设置进去。
http://blog.csdn.net/zzq1992126/article/details/51434085
这篇文章介绍了ip代理的设置，你可以尝试一下。希望能帮到你。