需要抓取的页面较多，单线程速度很慢，多线程在get页面的时候网站返回503，而且特别容易封IP。怀疑网站是通过IP的单位时间内访问次数判断是不是爬虫，没有代理啊。。大家有什么好的解决方案？
0条回答
- 2022-06-20 16:42回答 1 已采纳 implementation 'org.jsoup:jsoup:1.14.3' 用的是这个开源包吗？
- 2019-05-15 23:48回答 2 已采纳 ``` String html=""; Document doc = Jsoup.parse(html); Element ele = doc.getElementById("33")
- 2019-02-24 15:17回答 3 已采纳 已经解决了，是因为网站有反爬机制的。。。
- 2020-09-20 02:41主要给大家介绍了关于Python爬虫小技巧之伪造随机的User-Agent的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
- 2015-10-11 02:25回答 2 已采纳 循环获得最大下标的
- 2015-04-14 04:37回答 3 已采纳 代码没有问题，可能网站数据是实时变动的，。 body内容试试这个参数，这个是刚刚抓到的（如果不行，找个最新的再试试）： ``` String body = "ctl00%24cphMain
- 2016-05-17 12:28回答 0 已采纳 安卓-获取图片/视频的缩略图----------------------同志你好，我是CSDN问答机器人小N，奉组织之命为你提供参考答案，编程尚未成功，同志仍需努力！
- 2017-07-15 20:06遇见美好的博客 soup 是一款Java 的HTML解析器，可...它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： ...2. 使用DOM或CSS选择器来查找、取出数据；...jsoup是基于MI
- 2012-08-20 17:31回答 1 已采纳 执行followRedirects(false) 不进行重定向： [code="java"] /** * Configures the request to (no
- 2019-07-09 22:22回答 1 已采纳 解决了...是网站的响应太慢了,把超时时间又加了十倍,慢慢的就打印完了...
- 2021-06-29 10:53回答 4 已采纳 加我 前几天刚写
- 2021-03-08 19:00weixin_39640646的博客 //设置请求头。不行 public class WebMagicService { public static void main(String[] args) throws Exception{ HttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet(...
- 2022-04-21 11:40回答 2 已采纳 代码抛了异常，后面的代码没有执行。try catch 下抛出异常的代码试下。
- 2020-12-30 23:31熊仔仔仔仔的博客 需要使用的是jsoup-1.7.3.jar包 如果需要看文档我下载请借一步到官网这里贴一下我用到的 Java工程的测试代码package ...import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;...
- 2021-05-07 13:30" http://google.com " :user-agent " CoCo/1.0 " ) ; ; get request with options td " a[href] " ; ; Jsoup selectors ( attr " abs:href " )) ; ; attribute selector 从'emoji-cheat-sheet.com'获取所有由单条...
- 2024-01-28 20:51深巷与花猫的博客 引言：我们在工作中会遇见一些业务就是将某个网址的数据给获取下来，我们首先想到的就是爬虫，接下来演示的就是使用Java的Jsoup框架进行获取数据，
- 2019-01-09 16:35清风自来&静等花开的博客 通过java不用正则表达式，实现对页面标签的过滤或解析。 我们平时上网用的浏览器，除了根据用户输入的url完成通信，还要解析执行javascript代码浏览器在发送http请求时，会在头部里面加入很多信息，比如Cookie/...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 怀疑手机被监控，请问怎么解决和防止
- ¥15 Qt下使用tcp获取数据的详细操作
- ¥15 idea右下角设置编码是灰色的
- ¥15 全志H618ROM新增分区
- ¥15 在grasshopper里DrawViewportWires更改预览后，禁用电池仍然显示
- ¥15 NAO机器人的录音程序保存问题
- ¥15 C#读写EXCEL文件，不同编译
- ¥15 MapReduce结果输出到HBase，一直连接不上MySQL
- ¥15 扩散模型sd.webui使用时报错“Nonetype”
- ¥15 stm32流水灯＋呼吸灯＋外部中断按键