qq_17060115
2017-08-24 12:49
采纳率: 0%
浏览 3.0k

亿量级别数据用java查询并放入redis,如何处理效率最快

为了减少与数据库的交互,现在要把Oracle中上亿级别的数据用java查询出来并放入
redis中,自己写了代码,发现效率非常慢,这么处理可以提高效率?

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

4条回答 默认 最新

  • b447803354 2017-08-24 13:37

    上亿条数据占用内存都好几十个G吧,这种数据量就不是用redis了,要考虑用spark或者hive处理了

    打赏 评论
  • Q544471255 2017-08-24 14:28

    这个数据量,单台处理不了了,考虑用集群吧,,,

    打赏 评论
  • 简简单单OnlineZuozuo 2017-08-25 02:14

    文件太大,一台机子存不完。

    打赏 评论
  • 瓶丨盖 2017-08-29 02:54

    1、一次查出来,还是分批次查出来(建议分批次查);
    2、查的慢是sql性能问题,还是java性能问题;
    2.1 sql性能可以建索引、减少排序|统计等函数的使用、去除多余的关联表;
    2.2 java性能(一般不会存在,java其实挺快的),根据机器性能调整 jvm配置,一步一步优化一下代码,去除多余的内容,越精简越好,
    3、上亿的数据量处理起来本身就需要一定的时间,不可能一步到位,试着一步一步优化吧

    打赏 评论

相关推荐 更多相似问题