2 namedajipai namedajipai 于 2016.09.18 19:49 提问

海量大数据实时需要排序存入文件中使用什么文件比较好?

海量大数据实时需要排序存入文件中使用什么文件比较好?使用dat可以实现么,除了put语句还有什么语句可以快速写入dat文件的?

3个回答

caozhy
caozhy   Ds   Rxr 2016.09.18 23:39
已采纳
coding_hello
coding_hello   2016.09.18 20:18

没有dat文件一说。就是个二进制文件。

提高写入性能,硬件固定了的情况下,一次多写一点,避免频繁API调用,另外,应该采用异步写文件的方式提高性能。

cangyingzhijia
cangyingzhijia   2016.09.18 21:29

影响写入的方面可能很多,得具体问题具体分析,而常用的有这么些方面:
1、随机写换成顺序写
2、使用带缓冲的写
3、并行化,可以把排序和写入分开
4、硬件优化,换更好的硬盘,ssd,raid
5、文件内存映射减少内存拷贝次数
6、direct io,要求比较高可能需要自己实现文件cache

Csdn user default icon
上传中...
上传图片
插入图片