最近在做数据处理,历史数据约2.3亿条,处理逻辑是将数据曲线拆分成单个点位数据存储到量测数据库里面,
由于数据量比较大,用线程池去处理,在测试中发现八个线程开起来占用资源足够的情况下,将线程数提高到了28。
一开始处理数据的速度约3w条/分钟,放在台式机(windows系统)上跑了一晚上后,第二天早上看了一下,处理速度掉到了不足1.2w/分钟,看了一下任务管理器,此时CPU占用不足5%,内存占用800M。
刚开始运行时,CPU占用不足5%,内存占用达到2.1G。有没有大佬知道是什么原因导致这个运行速度骤降。

Java程序为何运行越来越慢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- threenewbee 2020-09-23 09:49关注
越来越慢可能是因为算法本身的算法复杂度不是线性的,也就是随着数据量的增加,运算时间不是等比例增加而是平方、指数方式增加
这个需要你优化算法,用算法复杂度低的算法
另一个是内存不足,造成了系统颠簸,大量虚拟内存换页操作导致拖累了性能,这个需要首先排除内存泄露,其次是增加物理内存
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 k210显示failed init to model
- ¥15 Evil-droid生成的APK手机已经下载但无法建立任务
- ¥25 c语言韩信点兵的变式
- ¥15 怎么根据书上的例子完成这个问题呢?
- ¥15 ECharts 增加Zoom,整行包括右边的Text一起滑动
- ¥15 关于网上一个easyx制作的见缝插针小游戏(c++)
- ¥15 开地址法双散列函数处理碰撞
- ¥15 想问一下这个是什么情况 虚拟机Linux打不开了
- ¥15 联通光猫掉注册了怎么重新注册上去
- ¥15 关于unity开发steamvr程序遇到的问题