2 namedajipai namedajipai 于 2016.09.18 22:02 提问

海量大数据(大约1000万数据每天)要求按照时间排序后存入dat文件

海量大数据(大约1000万数据每天)要求按照时间排序后存入dat文件,用什么语句可以实现?怎么样做才能做到性能最高?

2个回答

caozhy
caozhy   Ds   Rxr 2016.10.11 19:16
已采纳
CSDN_ZOL
CSDN_ZOL   2016.09.18 23:16

每天一千万数据还算中等吧,不是数据量特别大。中国移动那个一天通信通话上亿记录。一千万数据分开读写。比如切割成几个文件,用多线程同时读取,然后写入。
mapreduce就是做这个事情,就是分解然后再归并。速度很快。

Csdn user default icon
上传中...
上传图片
插入图片