2 namedajipai namedajipai 于 2016.09.18 22:02 提问

海量大数据(大约1000万数据每天)要求按照时间排序后存入dat文件

海量大数据(大约1000万数据每天)要求按照时间排序后存入dat文件,用什么语句可以实现?怎么样做才能做到性能最高?

2个回答

caozhy
caozhy   Ds   Rxr 2016.10.11 19:16
已采纳
CSDN_ZOL
CSDN_ZOL   2016.09.18 23:16

每天一千万数据还算中等吧,不是数据量特别大。中国移动那个一天通信通话上亿记录。一千万数据分开读写。比如切割成几个文件,用多线程同时读取,然后写入。
mapreduce就是做这个事情,就是分解然后再归并。速度很快。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!