梦回侏罗纪
2017-09-22 07:05
采纳率: 100%
浏览 2.7k
已采纳

数据库表中所有记录放入java map后内存溢出

目前面临的问题:
与数据库频繁交互(select *from table where rowid=?),为防止过于频繁的访问数据库,在第一次操作时,将所有记录查询出来放入内存(java Map),之后每次操作从map中获取,
但同时引出了另一个问题,不能保证数据库里有多少数据,如果记录过多,会导致内存溢出。
恳请大神们指点迷津~!

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

7条回答 默认 最新

  • _Yasin 2017-09-23 02:06
    已采纳

    1.首选楼主想到了缓存的方式来解决数据库频繁读取问题的方向是对的,直接存储放到jvm的内存中肯定是不合适的,数据量大后会造成内存溢出。
    2.如何解决:使用redis缓存,将id作为key存放,不知道你具体的业务,如果业务中查询的id有重复,可以使用redis缓存,如果你业务中会查询id几乎不重复,
    那么查库是避免不了的。所以你可以在程序启动阶段,就把数据库中的数据分页查询插入到redis中,分页查询不会造成内存溢出,以后所有的查询都走redis,
    如果redis查不到,在去数据库查,并且将查询结果放入redis中。

    点赞 打赏 评论
  • 姜某人 2017-09-22 07:28

    首先,没有你这么干的,防止频繁交互不是防止频繁查询,而是量小但是次数极多的频繁更新、添加与删除操作。
    低并发量下使用selet语句(尽量不要使用 select * ,用到什么字段就查询什么字段)是可以的,
    过高并发或很大请求,可以使用Redis等Nosql作为缓冲

    点赞 打赏 评论
  • 姜某人 2017-09-22 07:32

    接上边:如果你一定要使用map来存储数据,那么久根据你的业务要求,提前存储可能用到的、被频繁访问的数据,比如一些公共数据、最新的数据等等
    而且,这个Map大小要进行限制,按照你的想法,是不是你从数据库中取出数据之后还要遍历并存储到Map中

    点赞 打赏 评论
  • 自断经脉 2017-09-22 07:55

    直接下载一个redis用做缓存查询数据库就是了。

    点赞 打赏 评论
  • huangxtian 2017-09-22 08:36

    不需要把所有的数据都一次性读出来,加个缓存。每次查询先从缓存里读,缓存里没有的再去数据库再从数据库查,查到数据后存到缓存中;
    另外最重要一点是要对缓存做一个大小限制。 只需要缓存频繁的数据就可以了

    点赞 打赏 评论
  • 王智魁 2017-09-22 09:31

    1,增加缓存大小限制,缓存的设计必须考虑的店
    2,使用策略问题,将所有数据全部放到缓存的做法不妥,首先前台显示肯定不会同一时间显示所有数据,所以业务上控制一下减少数据量
    3,如果必须要一次缓存这么多可以考虑redis和memcached,但是问题是一样的一类数据的缓存总会有大小区分的

    map的缓存只能缓存少量的数据,如果要大量缓存就需要使用缓存服务器了redis或memcached
    建议楼主先从业务上入手,毕竟有时候业务退后一小步所有问题都解决了

    点赞 打赏 评论
  • li0826hui 2017-09-22 12:23

    第一次进行初始化,将数据查找出来后,直接进行处理,需要做后续处理的再放到Map中

    点赞 打赏 评论

相关推荐 更多相似问题