scienceren 2009-05-17 23:46
浏览 347
已采纳

java处理大量数据时性能问题

项目中一个小模块要求连接数据,比如有3条记录:a-b, b-c, c-d,则结果就是a-b-c-d。如果是a-b, b-c, b-d,则结果是a-b-c和a-b-d两条。

现一次性从数据库取出1万多条数据,放到list里面,然后按照上述连接要求进行循环匹配,连接结果设定最多就是10个节点(否则可能无限制循环了),但是这时整个机器像死了一样,内存占用不断上升(启动时我已经设置-Xms512m -Xmx768m),基本上没有响应了。

想请教大家一下,对于类似的问题如何处理,又是如何保证效率的?

[b]问题补充:[/b]
谢谢各位。

1、算法确实是必要的,像diddyrock所说的先排序,我认为不太实际,因为这种组合太多了,每一条记录的前一段相同的比率相对于总量还是比较小的。

2、huangnetian和diddyrock提到的对象大小问题,目前一个对象里面有15个字段,有int、string之类的,仅有2个是嵌套的对象。基本上能精简的都去除了。

欢迎大家继续讨论,谢谢。

  • 写回答

5条回答 默认 最新

  • weixin_42297497 2009-05-18 11:23
    关注

    优化:
    1.把多余的字段去掉,保证你的结果对像足够小,这样1万条数据应该没关系的.如果还有其它的问题,欢迎再交流

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)

报告相同问题?

悬赏问题

  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
  • ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序