最近在做数据处理,历史数据约2.3亿条,处理逻辑是将数据曲线拆分成单个点位数据存储到量测数据库里面,
由于数据量比较大,用线程池去处理,在测试中发现八个线程开起来占用资源足够的情况下,将线程数提高到了28。
一开始处理数据的速度约3w条/分钟,放在台式机(windows系统)上跑了一晚上后,第二天早上看了一下,处理速度掉到了不足1.2w/分钟,看了一下任务管理器,此时CPU占用不足5%,内存占用800M。
刚开始运行时,CPU占用不足5%,内存占用达到2.1G。有没有大佬知道是什么原因导致这个运行速度骤降。
Java程序为何运行越来越慢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- threenewbee 2020-09-23 09:49关注
越来越慢可能是因为算法本身的算法复杂度不是线性的,也就是随着数据量的增加,运算时间不是等比例增加而是平方、指数方式增加
这个需要你优化算法,用算法复杂度低的算法
另一个是内存不足,造成了系统颠簸,大量虚拟内存换页操作导致拖累了性能,这个需要首先排除内存泄露,其次是增加物理内存
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 用stata实现聚类的代码
- ¥15 请问paddlehub能支持移动端开发吗?在Android studio上该如何部署?
- ¥170 如图所示配置eNSP
- ¥20 docker里部署springboot项目,访问不到扬声器
- ¥15 netty整合springboot之后自动重连失效
- ¥15 悬赏!微信开发者工具报错,求帮改
- ¥20 wireshark抓不到vlan
- ¥20 关于#stm32#的问题:需要指导自动酸碱滴定仪的原理图程序代码及仿真
- ¥20 设计一款异域新娘的视频相亲软件需要哪些技术支持
- ¥15 stata安慰剂检验作图但是真实值不出现在图上