java处理大量数据时性能问题

项目中一个小模块要求连接数据,比如有3条记录:a-b, b-c, c-d,则结果就是a-b-c-d。如果是a-b, b-c, b-d,则结果是a-b-c和a-b-d两条。

现一次性从数据库取出1万多条数据,放到list里面,然后按照上述连接要求进行循环匹配,连接结果设定最多就是10个节点(否则可能无限制循环了),但是这时整个机器像死了一样,内存占用不断上升(启动时我已经设置-Xms512m -Xmx768m),基本上没有响应了。

想请教大家一下,对于类似的问题如何处理,又是如何保证效率的?

[b]问题补充:[/b]
谢谢各位。

1、算法确实是必要的,像diddyrock所说的先排序,我认为不太实际,因为这种组合太多了,每一条记录的前一段相同的比率相对于总量还是比较小的。

2、huangnetian和diddyrock提到的对象大小问题,目前一个对象里面有15个字段,有int、string之类的,仅有2个是嵌套的对象。基本上能精简的都去除了。

欢迎大家继续讨论,谢谢。

5个回答

优化:
1.把多余的字段去掉,保证你的结果对像足够小,这样1万条数据应该没关系的.如果还有其它的问题,欢迎再交流

呵呵,不死才怪啊,数据这么大,内存肯定是会耗完的。

首先算法要改进
先排序再连接,不行的话分段处理,这种情况只有靠算法

一万条数据的list应该不算大的,看你list的内置对象是什么,我搞过几十万的list,不过是纯string的,差不多吃内存200多m

我知道问题在哪了,你把你的代码贴出来看看.应该是你在循环里,没能及时的释放对象,贴出代码,我帮你看看

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问