最近自己在写一爬虫，用到了httpclient4.2.X ，如果开启过多的线程去抓取数据，有时候会出现返回数据不完全的情况。请问大家有没有什么好的解决方案？
6条回答 默认 最新
h248980496 2013-07-04 07:52关注请求超时
httpclient.getParams().setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 60000);
读取超时
httpclient.getParams().setParameter(CoreConnectionPNames.SO_TIMEOUT, 60000);根据你的情况，应该只需要设置读取超时就行了，另外，java端访问页面，部分子页面的站点可能本身延时就比较长，还有ajax的访问是不会被执行的，所以ajax动态生成的页面元素就不会有了
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2012-03-06 16:58回答 12 已采纳 源数据问题，你不一定能捕获到，如果你请求的页面dao报了异常，返回的数据为null，前端页面只是没有数据而已，你完全觉察不到 问题很好解决，如果内容有问题的打log
- 2022-10-10 11:03回答 2 已采纳 try catch 捕获异常，出现异常那么输出失败
- 2011-08-02 15:25回答 3 已采纳 请求数据时你试试这个方法 StringEntity reqEntity = new StringEntity("class=FtpAgereementInfoCache"); // 设置类型
- 2014-05-12 19:52HttpClient 绕过登录验证码直接抓取内部数据 HttpClient 的 Cookie 处理机制 在 web 安全中，Cookie 是一个非常重要的概念。它是服务器端用于标识用户身份的机制，通过 Cookie，服务器可以记住用户的登录信息，...
- 2017-03-06 02:47回答 5 已采纳 发送内容如果超过接收大小就按多次发送方式，比如一次发送8192，然后总数据量减速8192一直发送完全为止。
- 2017-08-07 03:34回答 5 已采纳 可能原因是 你在项目设置里导包 Tomcat启动失败 是因为你没在项目目录里把包放进去
- 2022-02-21 09:42回答 6 已采纳 你正常用http进行post当然没有加密，你post的啥，网络上传输的就是啥。但是如果你把你post的内容根据某种算法改了，比如1全部变成2，2全部变成3，然后接收端用同样的算法逆向解回去得到原始数据
- 2020-08-31 20:32在Java编程语言中，数据抓取是通过网络接口获取所需信息的一种常见方法，尤其是在处理HTTP...在进行HTTP数据抓取时，还需要注意遵守网站的robots.txt协议，尊重网站的版权和用户隐私，避免滥用抓取技术导致法律问题。
- 2019-01-05 17:04回答 2 已采纳 解决了，解决后才发现是很简单的问题，没有传入httpcont的值，需要传入用户名和密码 然后贴上我的代码吧，虽然很简单，希望能帮助到和我一样的小白。 using (var
- 2021-05-31 16:43回答 1 已采纳 不关它会一直占用httpclient导致其无法被jvm回收，程序一直异常，后边就获取不到值了，直到崩溃。
- 2021-07-05 15:58回答 2 已采纳 对方服务返回给你消息，说明你们相互是可以通讯的，对方服务返回结果提示你的请求缺少必要参数有2种可能1.你发送请求少带参数了2.对方接口不能解析json格式的参数看你问题说明里使用post+form-d
- 2020-09-04 14:24Java抓取网页数据是网络编程中的一个重要实践，通常用于数据挖掘、信息分析或自动化测试等场景。这个过程涉及到HTTP协议的理解以及Java内置的网络通信类库的使用。在Java中，我们可以使用`HttpURLConnection`类来...
- 2014-03-04 11:46WeLoveSunFlower的博客 问题：项目中获取一个接口的数据，在pc端浏览器，数据正常。用手机浏览器打开接口链接，有个图片字段的地址不完整 分析：说明是httpclient部分出问题了 考虑是不是设置了user agent 在获取数据的方法里加上...
- 2015-10-13 09:55董典周的博客 httpclient访问php服务器有可能获取到数据不全（即返回的json格式不完整），通过网络搜索包括项目解决将可能原因汇总如下（只是遇到的和网络上说明的，欢迎大家补充）： 1. php服务器有缓存，接口从缓存区读取数据...
- 2014-06-30 14:33在"万方数据抓取"这个具体场景中，可能涉及到的是抓取学术数据库如万方的数据。万方数据库通常需要用户登录才能访问，因此我们的爬虫需要实现模拟登录功能。这通常包括将用户名和密码通过POST请求发送到登录页面，...
- 没有解决我的问题, 去提问
