搜狗搜索微信的爬取怎么样才能防止被限制啊

Question

最近爬搜狗里面微信的文章内容，爬几次就会出现“访问过于频繁”，并提示输入验证码，尝试过加降低爬取频率，加过动态代理、也添加了不同的header信息，但还是会出现这种问题。
另外，看网上好多人说加上代理这种屏蔽的问题都解决了，那是我加的代理有问题吗？我是买的【快代理】的开放代理，通过它的api会每次访问都生成一批新的代理，但是基本上所有代理都会显示“访问过于频繁”，是代理的问题吗？

Answer 1

因为很多人都用这些代理做和你一样的勾当。也就是这个ip贩子把相同的代理ip贩卖给很多人。你虽然没有频繁，但是人家也在用，服务器当然视作频繁。