yanzhifeng0636 2013-07-03 09:39
浏览 651
已采纳

httpclient 请求过快，导致数据抓取不全

最近自己在写一爬虫，用到了httpclient4.2.X ，如果开启过多的线程去抓取数据，有时候会出现返回数据不完全的情况。请问大家有没有什么好的解决方案？

  • 写回答

6条回答 默认 最新

  • h248980496 2013-07-04 07:52
    关注

    请求超时
    httpclient.getParams().setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 60000);
    读取超时
    httpclient.getParams().setParameter(CoreConnectionPNames.SO_TIMEOUT, 60000);

    根据你的情况，应该只需要设置读取超时就行了，另外，java端访问页面，部分子页面的站点可能本身延时就比较长，还有ajax的访问是不会被执行的，所以ajax动态生成的页面元素就不会有了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(5条)

报告相同问题？

悬赏问题

  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据，怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据，怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题！
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？