LYM0721 2019-04-19 10:29 采纳率: 100%
浏览 1638
已采纳

Java如何设计频繁HTTP请求(至少13w次)的统计程序？

1.场景描述

  现有基础数据13w条，需循环通过第三方HTTP接口获取历史数据进行分析统计，意味着要发生13w次HTTP请求。接口请求速度还比较慢，平均每次请求需要1s，如果在单线程的情况下至少需要36个小时，目前我设计的是使用多线程每3w条作为一个任务进行请求，目前的消耗时间大概能减少到16小时左右，但效率还是太低了，有没有大佬有更好的解决方案的？求Help!!


2.部署环境

  系统：CentOS7

  配置：单CPU双核

  • 写回答

5条回答 默认 最新

  • ꧁gaoKuo꧂ 2019-04-19 13:44
    关注

    使用线程池,容量为30就差不多,这样时间大概是130000/3600/15两个小时多一点吧,
    线程看起来挺多其实还好因为你这个不是cpu密集的工作,时间都消耗在请求阻塞等待上了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)

报告相同问题？

悬赏问题

  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能！！有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘