[java]为什么我IO读写文件的速度逐渐变慢,刚开始特别快

标题说的不太详细
就是我的程序不断的往一个*.dat文件中追加手机号,一行一个,刚开始第一次运行的时候,没有文件,创建然后写
速度都很快,当我的文件越来越大,其实也不大,就100行左右,我要继续追加,然而速度就变得越来越慢

刚开始写200多个文件一共30-40ms,现在是300-500ms

这是为什么?

参考代码
监控中发现就这俩方法耗时间

 void pickOne(File f, String fingerprint) {
        long ts = System.currentTimeMillis();
        try (FileInputStream fis = new FileInputStream(f)) {
            String name = f.getName().split("\\.")[0];
            PerfLogging.info("Loading ..... " + fingerprint + "/" + name + " from " + f.getAbsolutePath() + " ..... ");
            BufferedReader buf = new BufferedReader(new InputStreamReader(fis));
            String line = null;
            while ((line = buf.readLine()) != null) {
                addPhone(name, line);
            }
            buf.close();
            ts = System.currentTimeMillis() - ts;
            PerfLogging.info("time elapsed " + ts + "ms");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public void dump(String basedir) {
        File dir = new File(basedir, this.preHash);
        for (Entry<String, Set<String>> en : this.hTab.entrySet()) {
            String pre2 = en.getKey();
            try (FileOutputStream fos = new FileOutputStream(new File(dir, pre2 + ".dat"))) {
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

这个代码不是我写的,我查到这个
java1.7特性,叫做try-with-resource,实现了AutoCloseable接口的实例可以放在try(...)中在离开try块时将自动调用close()方法。该方法调用可以看做在finally块中,所以资源的释放一定会执行,不过能不能成功释放还是得看close方法是否正常返回。

还有,我的服务器有40个G的内存,即使开给它还是很慢

我读取的是*.dat文件,不是二进制文件,可以理解成是txt类型的文件
我测试的时候,在第一次运行的时候,特别快,十分之一
但是多运行几次后,速度直线下降

13个回答

看你们说了这么多,真是8仙过海,各显神通!我也说两句!
首先AutoCloseable是jdk1.7以上属性,会自动关闭io流!!!所以说楼上有人说会因为流没关闭的原因显然是不成立的!!!
楼上有人说文件大文件操作文件,小文件操作内存,其为可能原因!但是看楼主用了buffer缓冲流,所以此点也不是核心原因!
个人觉得,其最主要的核心原因是addPhone方法的内部实现算法,就如楼上所说,算法复杂度是怎样的,我觉得这是重中之重!
楼主可以单独检测addPhone方法,看其执行时间是不是递增的,个人觉得应该是线性递增.或指数递增,线性递增的可能性比较大!
因此在你文件越来越大的时候就会越来越慢!另外,个人觉得你的addPhone应该有临界值,过临界值可能算法复杂度会突然变化较大!

u011856283
你好杰米 这事忘了好久,我又重新看了下代码,发现里面的操作逻辑是,想将文本全部读出来,然后放在内存中,然后旧的连带新的重新再写到一个新文件中去,所以多运行几次文件的内容慢慢变多,速度铁定慢了,当时看到的时候也是晕
大约 2 年之前 回复

代码不是太全,你的方式是,先把之前文件中的内容全读出来,然后再全写进去?

dump(String basedir) 中 FileOutputStream fos 没关闭导致的?

weixin_40327779
weixin_40327779 1
大约 2 年之前 回复
u014197262
web159687 看你的程序好像要读取非二进制文件吧,要是读取二进制文件这个方法好像不好吧
大约 2 年之前 回复
cdporter
逸先森 回复u011856283: try结束后需要显示调用finally在finally里面进行关闭操作,如果没有进行关闭会有内存泄露问题,时间一久就会出现卡顿问题
大约 2 年之前 回复
u011856283
你好杰米 我查到的资料是写在try()括号中,在try结束的时候会自动关闭
大约 2 年之前 回复

文件小,因为缓存机制的存在,实际上你操作的是内存,所以快。文件大,你操作的就是文件了,速度低几个数量级。
另外addPhone怎么实现的,它的算法复杂度是线性的,还是高于线性的。

u011856283
你好杰米 addphone就是给一个map put了值而已,恩,确实运行的次数多了一个文件数据也会变多,但是也就100多行,这也会有问题么?
大约 2 年之前 回复

run() method贴出来看一看

FileOutputStream 文件输出流没关闭导致

要清理缓存哦,否则会越来越慢

个人见解:

            try (FileOutputStream fos = new FileOutputStream(new File(dir, pre2 + ".dat"))) {
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            }

这一块的代码写法感觉有问题,fos不会在try块结束后自动close,需要显式调用fos.close()方法,不然打开的文件会因一直持有对象而无法被GC回收,存在内存泄露的风险。
换成Linux C下的写法,int fd = open(filepath, mode);文件操作会持有一个文件句柄,没有close该句柄就不会被回收,导致内存无法释放
而你IO读写变慢的原因可能就是可用内存逐渐减少,文件操作的缓存越来越少导致速度越来越慢。
可以修改为以下写法重新测试:

            FileOutputStream fos = null;
            try {
                            fos = new FileOutputStream(new File(dir, pre2 + ".dat"))
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            } finally{
                            try {
                                if (fos != null) {
                                        fos.close();
                                    }
                                } catch (Exception e) {
                    e.printStackTrace();
                }
                        }

IO操作类, try结束后需要显示调用finally在finally里面进行关闭操作,如果没有进行关闭会有内存泄露问题,时间一久就会出现卡顿问题,用close()
方法关闭

检查一下是否有内存泄露

共13条数据 1 尾页
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐