关于读取大量日志文件问题。

Question

本人在做一个 文件入库程序。

文件基本上就是日志文件。。。以天问单位。。

文件的读取格式是行读取，每一行会封装成对象。。。。。

一个文件有500行。。

一次作业大概要处理4个文件。

最终的目的是将所有文件，按照行封装成对象后。放到一个容器中。。但是，按照现在的处理方法，太慢了。。。

我想问问。有什么比较地道的做法吗。

本人现在的做法，就是加大虚拟机内存。。 一个一个文件遍历存储。

Answer 1

我做过类似的应用，速度还挺快的啊。不知道你有没有测试过自己的程序速度主要慢在哪里？ 如果是文件比较多的话，可以考虑多线程访问；如果是封装对象比较慢的话，可以根据固定的文件格式进行分析，减少反射的调用；如果是觉得内存有限制的话，我觉得采用文件型数据库中转下比较好；如果是解析文件的代码慢的话，请把代码展示一下；目前就想到这么多，如果有什么问题的话可以发站内信给我。