java 环境下操作大数据问题

Question

现在碰到个大数据频繁操作问题，数据量很大，但又得对这大数据量进行频繁的读和写，现在还没有好的方案，哪位大牛能给点思路啊。。

Answer 1

一般对于大数据的读写操作，都会有一个cache层作为缓冲。一般选用cache的话，会用memcached或redis（还有一个阿里的cache）。然后再加上读写分离的策略。只要保证操作不会穿透cache，就没有什么问题。

当然是用cache的话，你要预估你的全部数据量或热数据量。预算好你的cache命中率。

你这里说道你们操作的集合数据，那选用redis就很不错了。redis本身就支持集合的操作。

最后一步就是cache中数据与持久数据的同步问题，这个你也是需要考虑的。

当然你说的你的数据要做汇集工作，这个就不是cache所不具备的功能了。redis支持服务端计算，如果的key设计的合理的话，估计也能解决你的数据汇集问题。