需要抓取的页面较多，单线程速度很慢，多线程在get页面的时候网站返回503，而且特别容易封IP。怀疑网站是通过IP的单位时间内访问次数判断是不是爬虫，没有代理啊。。大家有什么好的解决方案？
0条回答
- 2022-06-20 16:42回答 1 已采纳 implementation 'org.jsoup:jsoup:1.14.3' 用的是这个开源包吗？
- 2019-05-15 23:48回答 2 已采纳 ``` String html=""; Document doc = Jsoup.parse(html); Element ele = doc.getElementById("33")
- 2019-02-24 15:17回答 3 已采纳 已经解决了，是因为网站有反爬机制的。。。
- 2020-09-20 02:41主要给大家介绍了关于Python爬虫小技巧之伪造随机的User-Agent的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
- 2015-10-11 02:25回答 2 已采纳 循环获得最大下标的
- 2015-04-14 04:37回答 3 已采纳 代码没有问题，可能网站数据是实时变动的，。 body内容试试这个参数，这个是刚刚抓到的（如果不行，找个最新的再试试）： ``` String body = "ctl00%24cphMain
- 2016-05-17 12:28回答 0 已采纳 安卓-获取图片/视频的缩略图----------------------同志你好，我是CSDN问答机器人小N，奉组织之命为你提供参考答案，编程尚未成功，同志仍需努力！
- 2017-07-15 20:06遇见美好的博客 soup 是一款Java 的HTML解析器，可...它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： ...2. 使用DOM或CSS选择器来查找、取出数据；...jsoup是基于MI
- 2012-08-20 17:31回答 1 已采纳 执行followRedirects(false) 不进行重定向： [code="java"] /** * Configures the request to (no
- 2019-07-09 22:22回答 1 已采纳 解决了...是网站的响应太慢了,把超时时间又加了十倍,慢慢的就打印完了...
- 2021-06-29 10:53回答 4 已采纳 加我 前几天刚写
- 2021-03-08 19:00weixin_39640646的博客 //设置请求头。不行 public class WebMagicService { public static void main(String[] args) throws Exception{ HttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet(...
- 2022-04-21 11:40回答 2 已采纳 代码抛了异常，后面的代码没有执行。try catch 下抛出异常的代码试下。
- 2020-12-30 23:31熊仔仔仔仔的博客 需要使用的是jsoup-1.7.3.jar包 如果需要看文档我下载请借一步到官网这里贴一下我用到的 Java工程的测试代码package ...import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;...
- 2021-05-07 13:30" http://google.com " :user-agent " CoCo/1.0 " ) ; ; get request with options td " a[href] " ; ; Jsoup selectors ( attr " abs:href " )) ; ; attribute selector 从'emoji-cheat-sheet.com'获取所有由单条...
- 2017-11-24 16:04LoveLife的博客 Android User-Agent Android访问网页时用到User-Agent 1. String user_Agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/...
- 2024-01-28 20:51深巷与花猫的博客 引言：我们在工作中会遇见一些业务就是将某个网址的数据给获取下来，我们首先想到的就是爬虫，接下来演示的就是使用Java的Jsoup框架进行获取数据，
- 没有解决我的问题, 去提问
