[java]为什么我IO读写文件的速度逐渐变慢,刚开始特别快

标题说的不太详细
就是我的程序不断的往一个*.dat文件中追加手机号,一行一个,刚开始第一次运行的时候,没有文件,创建然后写
速度都很快,当我的文件越来越大,其实也不大,就100行左右,我要继续追加,然而速度就变得越来越慢

刚开始写200多个文件一共30-40ms,现在是300-500ms

这是为什么?

参考代码
监控中发现就这俩方法耗时间

 void pickOne(File f, String fingerprint) {
        long ts = System.currentTimeMillis();
        try (FileInputStream fis = new FileInputStream(f)) {
            String name = f.getName().split("\\.")[0];
            PerfLogging.info("Loading ..... " + fingerprint + "/" + name + " from " + f.getAbsolutePath() + " ..... ");
            BufferedReader buf = new BufferedReader(new InputStreamReader(fis));
            String line = null;
            while ((line = buf.readLine()) != null) {
                addPhone(name, line);
            }
            buf.close();
            ts = System.currentTimeMillis() - ts;
            PerfLogging.info("time elapsed " + ts + "ms");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public void dump(String basedir) {
        File dir = new File(basedir, this.preHash);
        for (Entry<String, Set<String>> en : this.hTab.entrySet()) {
            String pre2 = en.getKey();
            try (FileOutputStream fos = new FileOutputStream(new File(dir, pre2 + ".dat"))) {
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

这个代码不是我写的,我查到这个
java1.7特性,叫做try-with-resource,实现了AutoCloseable接口的实例可以放在try(...)中在离开try块时将自动调用close()方法。该方法调用可以看做在finally块中,所以资源的释放一定会执行,不过能不能成功释放还是得看close方法是否正常返回。

还有,我的服务器有40个G的内存,即使开给它还是很慢

我读取的是*.dat文件,不是二进制文件,可以理解成是txt类型的文件
我测试的时候,在第一次运行的时候,特别快,十分之一
但是多运行几次后,速度直线下降

13个回答

看你们说了这么多,真是8仙过海,各显神通!我也说两句!
首先AutoCloseable是jdk1.7以上属性,会自动关闭io流!!!所以说楼上有人说会因为流没关闭的原因显然是不成立的!!!
楼上有人说文件大文件操作文件,小文件操作内存,其为可能原因!但是看楼主用了buffer缓冲流,所以此点也不是核心原因!
个人觉得,其最主要的核心原因是addPhone方法的内部实现算法,就如楼上所说,算法复杂度是怎样的,我觉得这是重中之重!
楼主可以单独检测addPhone方法,看其执行时间是不是递增的,个人觉得应该是线性递增.或指数递增,线性递增的可能性比较大!
因此在你文件越来越大的时候就会越来越慢!另外,个人觉得你的addPhone应该有临界值,过临界值可能算法复杂度会突然变化较大!

u011856283
你好杰米 这事忘了好久,我又重新看了下代码,发现里面的操作逻辑是,想将文本全部读出来,然后放在内存中,然后旧的连带新的重新再写到一个新文件中去,所以多运行几次文件的内容慢慢变多,速度铁定慢了,当时看到的时候也是晕
一年多之前 回复

代码不是太全,你的方式是,先把之前文件中的内容全读出来,然后再全写进去?

dump(String basedir) 中 FileOutputStream fos 没关闭导致的?

weixin_40327779
weixin_40327779 1
一年多之前 回复
u014197262
web159687 看你的程序好像要读取非二进制文件吧,要是读取二进制文件这个方法好像不好吧
一年多之前 回复
cdporter
逸先森 回复u011856283: try结束后需要显示调用finally在finally里面进行关闭操作,如果没有进行关闭会有内存泄露问题,时间一久就会出现卡顿问题
一年多之前 回复
u011856283
你好杰米 我查到的资料是写在try()括号中,在try结束的时候会自动关闭
一年多之前 回复

文件小,因为缓存机制的存在,实际上你操作的是内存,所以快。文件大,你操作的就是文件了,速度低几个数量级。
另外addPhone怎么实现的,它的算法复杂度是线性的,还是高于线性的。

u011856283
你好杰米 addphone就是给一个map put了值而已,恩,确实运行的次数多了一个文件数据也会变多,但是也就100多行,这也会有问题么?
一年多之前 回复

run() method贴出来看一看

FileOutputStream 文件输出流没关闭导致

要清理缓存哦,否则会越来越慢

个人见解:

            try (FileOutputStream fos = new FileOutputStream(new File(dir, pre2 + ".dat"))) {
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            }

这一块的代码写法感觉有问题,fos不会在try块结束后自动close,需要显式调用fos.close()方法,不然打开的文件会因一直持有对象而无法被GC回收,存在内存泄露的风险。
换成Linux C下的写法,int fd = open(filepath, mode);文件操作会持有一个文件句柄,没有close该句柄就不会被回收,导致内存无法释放
而你IO读写变慢的原因可能就是可用内存逐渐减少,文件操作的缓存越来越少导致速度越来越慢。
可以修改为以下写法重新测试:

            FileOutputStream fos = null;
            try {
                            fos = new FileOutputStream(new File(dir, pre2 + ".dat"))
                for (String s : en.getValue()) {
                    fos.write((s + "\n").getBytes());
                }
            } catch (Exception e) {
                e.printStackTrace();
            } finally{
                            try {
                                if (fos != null) {
                                        fos.close();
                                    }
                                } catch (Exception e) {
                    e.printStackTrace();
                }
                        }

IO操作类, try结束后需要显示调用finally在finally里面进行关闭操作,如果没有进行关闭会有内存泄露问题,时间一久就会出现卡顿问题,用close()
方法关闭

检查一下是否有内存泄露

共13条数据 1 尾页
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
java里怎么将一个文件保存至另外一个文件里?
-
orcale 11g 每次开机都会进行大量硬盘读写 请问是什么原因
-
关于webSocket发生异常的求助
-
zuul显示IO异常 : 你的主机中的软件中止了一个已建立的连接
-
为什么Java播放wav文件没有声音(在application)?
-
springboot2.0.2 启动报错
-
py4j.protocol.Py4JJavaError: //java.io.FileNotFoundException
-
readUTF报错java.io.EOFException?
-
mybatis连接数据库失败是什么原因,百度了半天没找到有用的办法
-
[django。html]我在gitkraken上传django文件时上传不了css文件
-
安卓开发JDBC连接数据库No static method metafactory错误怎么解决?
-
FileInputStream找不到文件异常(FileNotFoundException)
-
Java的IO流拷贝图片成功,但是加载不出来,显示不支持此文件格式是什么原因,跪求大佬指点!
-
请问java中有可能通过IO流来输送对象吗?
-
IO读写错误--at java.io.FileInputStream.open(Native Me
-
Vertx怎么上传或下载文件到Nginx服务器
-
centos ping git.io可以通为什么curl -v git.io不通?
-
ElasticSearch6.3.1 jdbc连接提示Original type was [request [/_xpack/sql] contains unrecognized parameter: [mode]].
-
学会了这些技术,你离BAT大厂不远了
每一个程序员都有一个梦想,梦想着能够进入阿里、腾讯、字节跳动、百度等一线互联网公司,由于身边的环境等原因,不知道 BAT 等一线互联网公司使用哪些技术?或者该如何去学习这些技术?或者我该去哪些获取这些技术资料?没关系,平头哥一站式服务,上面统统不是问题。平头哥整理了 BAT 等一线大厂的必备技能,并且帮你准备了对应的资料。对于整理出来的技术,如果你掌握的不牢固,那就赶快巩固,如果你还没有涉及,现在...
记一道字节跳动的算法面试题
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 帅地来源公众号 | 苦逼的码农前几天有个朋友去面试字节跳动,面试官问了他一道链表相...
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
Python爬取淘宝商品信息
各位同学们,好久没写原创技术文章了,最近有些忙,所以进度很慢。 警告:本教程仅用作学习交流,请勿用作商业盈利,违者后果自负!如本文有侵犯任何组织集团公司的隐私或利益,请告知联系猪哥删除!!! 一、淘宝登录复习 前面我们已经介绍过了如何使用requests库登录淘宝,收到了很多同学的反馈和提问,猪哥感到很欣慰,同时对那些没有及时回复的同学说声抱歉! 顺便再提一下这个登录功能,代码是完全没有问题。...
全球最厉害的 14 位程序员!
来源 | ITWorld 整理自网络全球最厉害的 14 位程序员是谁?今天就让我们一起来了解一下吧,排名不分先后。01. Jon Skeet个人名望:程序技术问答网站 S...
从入门到精通,Java学习路线导航
引言 最近也有很多人来向我"请教",他们大都是一些刚入门的新手,还不了解这个行业,也不知道从何学起,开始的时候非常迷茫,实在是每天回复很多人也很麻烦,所以在这里统一作个回复吧。 Java学习路线 当然,这里我只是说Java学习路线,因为自己就是学Java的,对Java理当很熟悉,对于其它方面,我也不是很了解。 基础阶段 首先是基础阶段,在基础阶段,我们必须掌握Java基础,Mysql数据库,Ora...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
盘点那些被AI换脸、一键“脱”衣所滥用的AI模型
上周作者发布了一篇有关AI换脸的教程,不过令笔者始料未及的是一石激起千层浪,竟然有不少网友留言求所谓一键“脱”衣的教程。 虽然笔者对于技术的滥用深恶痛绝,但技术本身是中性的,并无好坏之分,从我上篇博文中也能看到“AI换脸”的门槛越来越低,目前其应用已经发展到几乎是随便什么人有个教程就能操作的地步了,所以想阻止这些滥用的技术,单靠封杀是不起了什么作用的,所以本文就回归...
五分钟小知识:为什么说 ++i 的效率比 i++ 高?
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 守望先生来源 | 编程珠玑前言不知道你是否听说过 ++i 比 i++ 快的说法,真...
接班马云的为何是张勇?
上海人、职业经理人、CFO 背景,集齐马云三大不喜欢的张勇怎么就成了阿里接班人? 作者|王琳 本文经授权转载自燃财经(ID:rancaijing) 9月10日,张勇转正了,他由阿里巴巴董事局候任主席正式成为阿里巴巴董事局主席,这也意味着阿里巴巴将正式开启“逍遥子时代”。 从2015年接任CEO开始,张勇已经将阿里巴巴股价拉升了超过200%。但和马云强大的个人光环比,张勇显得尤其...
什么是大公司病(太形象了)
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 南之鱼来源 | 芝麻观点(chinamkt)所谓大企业病,一般都具有机构臃肿、多重...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
工厂模式,从第三方登录说起
现在的很多平台在登陆的时候,下面都会有一排选项,可以选择微信、QQ、微博账号等登陆,这些账号对平台来说都是第三方账号。第三方账号登陆是最近几年流行起来的,第三方账号登录一般都是基于OAuth2.0协议开发的。如果你不了解OAuth2.0协议,可以自行百度,也许会对你看这篇文章有所帮助。 现在由于公司要给平台引入流量,为了降低注册门槛,让更多的人来使用你们的平台,领导决定在你们的平台上接入第三方账号...
如何在Windows中开启"上帝模式"
原文链接 : https://mp.weixin.qq.com/s?__biz=MzIwMjE1MjMyMw==&amp;mid=2650202982&amp;idx=1&amp;sn=2c6c609ce06db1cee81abf2ba797be1b&amp;chksm=8ee1438ab996ca9c2d0cd0f76426e92faa835beef20ae21b537c0867ec2773be...
什么是“中台”?
“中台”这个概念,越来越多的在各种技术大会上提及,各大技术公司,纷纷推出自己的“中台”方案,究竟什么是“中台”?他和“前台”、“后台”有何区别?《》,这是我的朋友、前同事...
为什么面向对象糟透了?
又是周末,编程语言“三巨头”Java, Lisp 和C语言在Hello World咖啡馆聚会。服务员送来咖啡的同时还带来了一张今天的报纸, 三人寒暄了几句, C语言翻开了...
分享靠写代码赚钱的一些门路
作者 mezod,译者 josephchang10如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。今天给大家分享一个精彩...
失业42天,我废了
作者:子彧师兄https://www.jianshu.com/p/62590c1339f12019.6.5这天下午,公司以资金困难,亏损较大为理由将我们整个技术部裁掉,我...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
顶级产品经理是如何利用王者荣耀,3步毁掉你的自律。
【老王提示】:本文共 2384 字数,预计阅读时间为 8 Minute。 前言 当今时代,王者荣耀可谓无人不知无人不晓,该产品为其行业巨头,而其产品使用者年龄小则十几岁,大则近百岁。 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 这个现象极为恐怖,甚至有些心酸,本是正处于青春阳光成长中的孩子,应该围绕着学习才对,而不是花费大量时间在娱乐上。不仅是小学生,只要处于...
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件
文章目录前言一、nginx简介1. 什么是 nginx 和可以做什么事情2.Nginx 作为 web 服务器3. 正向代理4. 反向代理5. 动静分离6.动静分离二、Nginx 的安装三、 Nginx 的常用命令和配置文件四、 Nginx 配置实例 1 反向代理五、 Nginx 配置实例 2 负载均衡六、 Nginx 配置实例 3 动静分离七、 Nginx 的高可用集群 前言 一、nginx简介...
相关热词 c#部署端口监听项目、 c#接口中的属性使用方法 c# 昨天 c#func链接匿名方法 c#怎么创建文件夹 c#从键盘接收空格 c#da/ad c#部门请假管理系统 c#服务器socket c# 默认的访问修饰符

相似问题