最近在做数据处理,历史数据约2.3亿条,处理逻辑是将数据曲线拆分成单个点位数据存储到量测数据库里面,
由于数据量比较大,用线程池去处理,在测试中发现八个线程开起来占用资源足够的情况下,将线程数提高到了28。
一开始处理数据的速度约3w条/分钟,放在台式机(windows系统)上跑了一晚上后,第二天早上看了一下,处理速度掉到了不足1.2w/分钟,看了一下任务管理器,此时CPU占用不足5%,内存占用800M。
刚开始运行时,CPU占用不足5%,内存占用达到2.1G。有没有大佬知道是什么原因导致这个运行速度骤降。
![](https://profile-avatar.csdnimg.cn/default.jpg!4)
Java程序为何运行越来越慢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- threenewbee 2020-09-23 09:49关注
越来越慢可能是因为算法本身的算法复杂度不是线性的,也就是随着数据量的增加,运算时间不是等比例增加而是平方、指数方式增加
这个需要你优化算法,用算法复杂度低的算法
另一个是内存不足,造成了系统颠簸,大量虚拟内存换页操作导致拖累了性能,这个需要首先排除内存泄露,其次是增加物理内存
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 metadata提取的PDF元数据,如何转换为一个Excel
- ¥15 关于arduino编程toCharArray()函数的使用
- ¥100 vc++混合CEF采用CLR方式编译报错
- ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
- ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
- ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
- ¥50 如何openEuler 22.03上安装配置drbd
- ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
- ¥15 无线连接树莓派,无法执行update,如何解决?(相关搜索:软件下载)
- ¥15 Windows11, backspace, enter, space键失灵