关于读取大量日志文件问题。

本人在做一个 文件入库程序。

文件基本上就是日志文件。。。以天问单位。。

文件的读取格式是行读取,每一行会封装成对象。。。。。

一个文件有500行。。

一次作业大概要处理4个文件。

最终的目的是将所有文件,按照行封装成对象后。放到一个容器中。。但是,按照现在的处理方法,太慢了。。。

我想问问。有什么比较地道的做法吗。

本人现在的做法,就是加大虚拟机内存。。 一个一个文件遍历存储。

3个回答

我做过类似的应用,速度还挺快的啊。不知道你有没有测试过自己的程序速度主要慢在哪里? 如果是文件比较多的话,可以考虑多线程访问;如果是封装对象比较慢的话,可以根据固定的文件格式进行分析,减少反射的调用;如果是觉得内存有限制的话,我觉得采用文件型数据库中转下比较好;如果是解析文件的代码慢的话,请把代码展示一下;目前就想到这么多,如果有什么问题的话可以发站内信给我。

先把文件分割小文件,比如10000行一个文件,
然后多线程

立即提问
相关内容推荐