LYM0721 2019-04-19 10:29 采纳率: 100%
浏览 1638
已采纳

Java如何设计频繁HTTP请求(至少13w次)的统计程序？

1.场景描述

  现有基础数据13w条，需循环通过第三方HTTP接口获取历史数据进行分析统计，意味着要发生13w次HTTP请求。接口请求速度还比较慢，平均每次请求需要1s，如果在单线程的情况下至少需要36个小时，目前我设计的是使用多线程每3w条作为一个任务进行请求，目前的消耗时间大概能减少到16小时左右，但效率还是太低了，有没有大佬有更好的解决方案的？求Help!!


2.部署环境

  系统：CentOS7

  配置：单CPU双核

  • 写回答

5条回答 默认 最新

  • ꧁gaoKuo꧂ 2019-04-19 13:44
    关注

    使用线程池,容量为30就差不多,这样时间大概是130000/3600/15两个小时多一点吧,
    线程看起来挺多其实还好因为你这个不是cpu密集的工作,时间都消耗在请求阻塞等待上了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)

报告相同问题？

悬赏问题

  • ¥15 如何用stata画出文献中常见的安慰剂检验图
  • ¥15 c语言链表结构体数据插入
  • ¥40 使用MATLAB解答线性代数问题
  • ¥15 COCOS的问题COCOS的问题
  • ¥15 FPGA-SRIO初始化失败
  • ¥15 MapReduce实现倒排索引失败
  • ¥15 ZABBIX6.0L连接数据库报错，如何解决？(操作系统-centos)
  • ¥15 找一位技术过硬的游戏pj程序员
  • ¥15 matlab生成电测深三层曲线模型代码
  • ¥50 随机森林与房贷信用风险模型