Jsoup爬虫页面的，ip被封闭，无法得到全部信息，该如何解决

Question

Jsoup爬取页面元素，爬的次数多了，后来爬取就得不到想要的元素了，该如何解决？

Answer 1

目前网络爬虫爬取数据的技术已经越来越成熟，再加上配合代理IP，让爬虫技术的工作效率越来越高。但网络爬虫对被爬取网站并没什么好处，所以设置了反爬虫机制。有时平台以便更好地阻拦恶意访问，会设置IP在规定时间内的访问次数，超出次数就会禁止访问。所以绕过反爬虫机制能够降低网络爬虫的访问频率，还能够用全球（ipidea）克服限制，保证数据采集，力求以质量卓越。