1.场景描述
现有基础数据13w条，需循环通过第三方HTTP接口获取历史数据进行分析统计，意味着要发生13w次HTTP请求。接口请求速度还比较慢，平均每次请求需要1s，如果在单线程的情况下至少需要36个小时，目前我设计的是使用多线程每3w条作为一个任务进行请求，目前的消耗时间大概能减少到16小时左右，但效率还是太低了，有没有大佬有更好的解决方案的？求Help!!
2.部署环境
系统：CentOS7
配置：单CPU双核
Java如何设计频繁HTTP请求(至少13w次)的统计程序？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
꧁gaoKuo꧂ 2019-04-19 13:44关注使用线程池,容量为30就差不多,这样时间大概是130000/3600/15两个小时多一点吧,
线程看起来挺多其实还好因为你这个不是cpu密集的工作,时间都消耗在请求阻塞等待上了本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
悬赏问题
- ¥30 STM32 INMP441无法读取数据
- ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
- ¥15 用visualstudio2022创建vue项目后无法启动
- ¥15 x趋于0时tanx-sinx极限可以拆开算吗
- ¥500 把面具戴到人脸上，请大家贡献智慧
- ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
- ¥15 各位 帮我看看如何写代码，打出来的图形要和如下图呈现的一样，急
- ¥30 c#打开word开启修订并实时显示批注
- ¥15 如何解决ldsc的这条报错/index error
- ¥15 VS2022+WDK驱动开发环境