scienceren 2009-05-17 23:46
浏览 347
已采纳

java处理大量数据时性能问题

项目中一个小模块要求连接数据,比如有3条记录:a-b, b-c, c-d,则结果就是a-b-c-d。如果是a-b, b-c, b-d,则结果是a-b-c和a-b-d两条。

现一次性从数据库取出1万多条数据,放到list里面,然后按照上述连接要求进行循环匹配,连接结果设定最多就是10个节点(否则可能无限制循环了),但是这时整个机器像死了一样,内存占用不断上升(启动时我已经设置-Xms512m -Xmx768m),基本上没有响应了。

想请教大家一下,对于类似的问题如何处理,又是如何保证效率的?

[b]问题补充:[/b]
谢谢各位。

1、算法确实是必要的,像diddyrock所说的先排序,我认为不太实际,因为这种组合太多了,每一条记录的前一段相同的比率相对于总量还是比较小的。

2、huangnetian和diddyrock提到的对象大小问题,目前一个对象里面有15个字段,有int、string之类的,仅有2个是嵌套的对象。基本上能精简的都去除了。

欢迎大家继续讨论,谢谢。

  • 写回答

5条回答 默认 最新

  • weixin_42297497 2009-05-18 11:23
    关注

    优化:
    1.把多余的字段去掉,保证你的结果对像足够小,这样1万条数据应该没关系的.如果还有其它的问题,欢迎再交流

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)

报告相同问题?

悬赏问题

  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 ubuntu系统下挂载磁盘上执行./提示权限不够
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)