如何加快java读取文件的速度

[code="java"]FileInputStream in =???
int BUFFERLEN=1024; // 这个的设置有关系吗
byte buffer[] = new byte[BUFFERLEN];
while((c=in.read(buffer))!=-1){
for(int i=0;i<c;i++){
buffer[i]^=KEYVALUE[pos];
out.write(buffer[i]);
pos++;
if(pos==keylen) pos =0;
}
}
in.close();
out.close();[/code]

弄来一个流 。大概就是 new byte[1024] 这种方式读流。弄一个1M的文件得3,4 秒。怎么能快点

10个回答

修正:8k是1k的4倍左右 :lol:

你这缓存完全没用啊。。。

这样:
[code="java"]byte[] cache = new byte[8096];
while ((length = inputStream.read(cache)) != -1) {
ops.write(cache, 0, length);
ops.flush();
}[/code]

效果都不明显的。不信,你试试。

[quote]# int BUFFERLEN=1024; // 这个的设置有关系吗 [/quote]
这个有关系的啊。你看你的代码中有这么一句:
[quote]while((c=in.read(buffer))!=-1){ [/quote]
它就是说把 in 中的数据读取部分来放至 buffer 数组中。你这个数组越大,每次读出来的数据可能就越多,读的次数也就越少。

另外,别忘了
[code="java"]out.flush();[/code]
还有,
[code="java"]
in.close();

out.close();

[/code]
这两个需要抓异常的.

如果是复制文件还可以这样:

[code="java"]public static void copy(File src, File dest) throws Exception {
if(src == null || dest == null || src.isDirectory() || dest.isDirectory()) {
throw new IllegalArgumentException();
}

    RandomAccessFile srcfile = new RandomAccessFile(src, "r");
    RandomAccessFile destfile = new RandomAccessFile(dest, "rw");

    FileChannel channel = srcfile.getChannel();
    channel.transferTo(0, channel.size(), destfile.getChannel());
    srcfile.close();
    destfile.close();
}[/code]

改变buffer的大小还是有效果的

[code="java"]public static void copy1(File src, File dest) throws Exception {
FileInputStream fileInputStream = null;
FileOutputStream fileOutputStream = null;
try {
fileInputStream = new FileInputStream(src);
fileOutputStream = new FileOutputStream(dest);
byte[] buffer = new byte[8096];
int length = -1;
while((length = fileInputStream.read(buffer)) != -1) {
fileOutputStream.write(buffer, 0, length);//一次性将缓冲区的所有数据都写出去
fileOutputStream.flush();
}
} finally {
if(fileInputStream != null) {
fileInputStream.close();
}
if(fileOutputStream != null) {
fileOutputStream.close();
}
}
}[/code]

[code="java"][/code]

FileWriter fw = new FileWriter("D:\"+fileName+".txt", true);
BufferedWriter bw = new BufferedWriter(fw);
bw.write((buffer.toString()).trim());
bw.close();
fw.close();

[quote]怎么能快点 [/quote]
最快的可能就是,你把 buffer 的大小设为你文件大小或者比它更它,这样能使得每次read 的时候能读入尽可能多的字节。

参考 BufferedInputStream的默认缓冲区是8192(8K),官方说法是:再大对提升速度也没多大帮助,还要考虑内存性能。
还有就是 out.write(buffer[i]);

out最好也用BufferedOutputStream,可以优化写文件的性能

[quote]参考 BufferedInputStream的默认缓冲区是8192(8K),官方说法是:再大对提升速度也没多大帮助,还要考虑内存性能。
还有就是 out.write(buffer[i]);

out最好也用BufferedOutputStream,可以优化写文件的性能[/quote]

今天好奇,测试了一下,如果只用FileOutputStream,在我的机器上,buffer是8k左右的读写速度是1k的10倍左右,buffer在64k左右达到最佳值,性能再提高一倍左右,512k左右还有一个次优值,大致如此了。Win7 64bit/6G/jdk1.7 64bit/seagate的普通硬盘。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Java读取NAS存储速度太慢
有一台NAS存储设备,将其挂载到Linux文件系统。采用CP命令将一些文件从NAS目录拷贝到本地目录的速速很快,但是自己编写JAVA程序读取的速度很慢,希望高手能够给予解答
[java]为什么我IO读写文件的速度逐渐变慢,刚开始特别快
标题说的不太详细 就是我的程序不断的往一个*.dat文件中追加手机号,一行一个,刚开始第一次运行的时候,没有文件,创建然后写 速度都很快,当我的文件越来越大,其实也不大,就100行左右,我要继续追加,然而速度就变得越来越慢 刚开始写200多个文件一共30-40ms,现在是300-500ms 这是为什么? 参考代码 监控中发现就这俩方法耗时间 ``` void pickOne(File f, String fingerprint) { long ts = System.currentTimeMillis(); try (FileInputStream fis = new FileInputStream(f)) { String name = f.getName().split("\\.")[0]; PerfLogging.info("Loading ..... " + fingerprint + "/" + name + " from " + f.getAbsolutePath() + " ..... "); BufferedReader buf = new BufferedReader(new InputStreamReader(fis)); String line = null; while ((line = buf.readLine()) != null) { addPhone(name, line); } buf.close(); ts = System.currentTimeMillis() - ts; PerfLogging.info("time elapsed " + ts + "ms"); } catch (Exception e) { e.printStackTrace(); } } public void dump(String basedir) { File dir = new File(basedir, this.preHash); for (Entry<String, Set<String>> en : this.hTab.entrySet()) { String pre2 = en.getKey(); try (FileOutputStream fos = new FileOutputStream(new File(dir, pre2 + ".dat"))) { for (String s : en.getValue()) { fos.write((s + "\n").getBytes()); } } catch (Exception e) { e.printStackTrace(); } } } ``` 这个代码不是我写的,我查到这个 java1.7特性,叫做try-with-resource,实现了AutoCloseable接口的实例可以放在try(...)中在离开try块时将自动调用close()方法。该方法调用可以看做在finally块中,所以资源的释放一定会执行,不过能不能成功释放还是得看close方法是否正常返回。 还有,我的服务器有40个G的内存,即使开给它还是很慢 我读取的是*.dat文件,不是二进制文件,可以理解成是txt类型的文件 我测试的时候,在第一次运行的时候,特别快,十分之一 但是多运行几次后,速度直线下降
java中,怎么查看文件的读取速度?
用Java编写一个程序,实现一个对1M大小和5M大小的文件的读取程序,然后计算出这两个文件的各自速度?怎么做?求大神代码实现
java如何提高Excel文件的读写速度
现在项目中有一个导出数据导excel中的操作,由于数据量比较大,导出速度非常慢,需要五六分钟,如何做到快速导出数据呢
java spark获取多个gz文件时怎样提高速度
每个gz文件大致有1-3G大小,解压后有8G-10G左右。spark读取数据为每个文件平均20-30秒。 但是现在需求是1分钟读取10个gz文件内容合并成一个txt样式的文件怎样完成。或者10分钟读取100个gz文件合并成10个文件怎么完成。 问了一些大神说要调试base值,观看每个文件的瓶颈。但是我查看资料是把RDD转成hbase ,至于这个base值该怎么调试呢
java操作dos命令执行速度慢
用java读取文件然后调用dos命令增加静态路由。数据量大概三四千条。执行需要两分钟。 目前就是读取一条,处理一下数据,然后执行一下。怎么样可以增加执行速度?
各位大神,这是一个有关Java文件操作和线程,进程的问题,求大神支招,小弟感激不尽
我现在有一个任务,要把大量的数据从数据库A中读出来写入到TXT中平(这中间我把数据库中的数据显示写入到map缓存中)均一天的数据是3个G,然后再从TXT中读取数据,并计算数据中的一些值然后插查入到数据库B中,由于数据量很大,所以这个过程很耗时,读写文件的方式都是用FileWriter和FileReader这俩个流来实现的,想请问一下大神们用什么样的方法才能使读写操作的速度更快一些呢,提高一下效率。 另外,采用什么样的方法才能才能使该功能同时启动多个,即是把代码编程多线程,多进程的方式,同时读取文件中的数据并计算或者把数据写入到TXT中,当中互不影响,保证数据的准确性。 最大的问题是,当我的程序运行到一半是,由于某些原因突然停电或者一些意外原因,程序突然中止了,在程序重新启动时,我要怎么保证程序继续运行按照停电时的数据,而不是重新开始。 求大神指教了!!!!!!
读取txt并写入不同txt文件中
读取以下txt txt文件内容格式: tag1 | 手机号 tag2 | 手机号 。。。 100w行 根据tag来区分写入的txt文件 本人用了普通的读取方式速度太慢,想用多线程来优化,请各位大侠支招, 具体的demo ,谢谢
java从数据库读取百万级数据保存到text文件中,速度慢,怎么解决
代码如下,做一个数据脚本的备份与还原,从数据库查询所有记录,拼接成插入语句,数据库中有600多万条数据,在自的电脑上试,写到txt文件中足足花了半个小时的时间啊。。。。。不知道哪里有问题,麻烦各位指点一下 [code="java"] /** * 如果记录大于10000行,则 分页抓取,每次抓取10000条,这里只适应于在mysql</br> * @param rowCount * 总记录数 * @param table * 表名 * @param writer * 输入流 */ private static BufferedWriter fetchByPage(int rowCount, String table, BufferedWriter writer) { final int fetchSize = 10000; final int pageSize = rowCount % fetchSize == 0 ? rowCount / fetchSize : rowCount / fetchSize + 1; int currentPage = 1; Connection conn = null; Statement stsm = null; ResultSet rs = null; try { conn = newConnection(); conn.setAutoCommit(false); stsm = conn.createStatement(); if (isSqlServer(conn)) { writer .write("SET IDENTITY_INSERT [dbo].[" + table + "] ON; \n"); } else { writer.write("SET FOREIGN_KEY_CHECKS=0;\n"); // 默认是mysql } while (currentPage <= pageSize) { String sql = "select * from " + table + " limit " + (currentPage - 1) * fetchSize + "," + fetchSize; rs = stsm.executeQuery(sql); writeByRow(conn, table, rs, writer); currentPage++; } if (isSqlServer(conn)) { writer.write("SET IDENTITY_INSERT [dbo].[" + table + "] OFF; \n"); } } catch (Exception e) { e.printStackTrace(); } finally { if (conn != null) { try { if (!conn.isClosed()) conn.close(); if (stsm != null) stsm.close(); if (rs != null) rs.close(); } catch (SQLException e) { e.printStackTrace(); } } } return writer; } private static BufferedWriter writeByRow(Connection conn, String tableName, ResultSet rs, BufferedWriter writer) throws Exception { while (rs.next()) { StringBuilder insertSql = new StringBuilder(); insertSql.append("insert into "); String[] columnNames = getColumnNames(rs); if (isSqlServer(conn)) { insertSql.append("[" + tableName + "] ("); for (String columnName : columnNames) { insertSql.append("[" + columnName + "],"); } } else { insertSql.append("`" + tableName + "`("); for (String columnName : columnNames) { insertSql.append("`" + columnName + "`,"); } } insertSql.deleteCharAt(insertSql.length() - 1); insertSql.append(")"); insertSql.append(" values("); for (int i = 0; i < columnNames.length; i++) { String columnClassName = rs.getMetaData().getColumnClassName( i + 1); if (rs.getObject(i + 1) != null) { if (columnClassName.equalsIgnoreCase("java.lang.String")) { String strValue = rs.getString(columnNames[i]); strValue = strValue.replaceAll("\r", "\\\\r"); strValue = strValue.replaceAll("\n", "\\\\n"); insertSql.append("'" + strValue + "',"); } else { insertSql.append("'" + rs.getObject(i + 1) + "',"); } } else { insertSql.append(rs.getObject(i + 1) + ","); } } int index = insertSql.toString().lastIndexOf(","); String sqlText = insertSql.toString().substring(0, index) + ")"; writer.write(sqlText + ";\n"); } return writer; } [/code]
大二,学过c和java如何实现硬盘测试读写速度程序
多文件存储性能测试 编写一套程序,可对x86系统、ARM系统进行多文件并发写入带宽测试。该程序有以下要求: 1. 使用Linux操作系统运行,内核版本号不限;(在实验室服务器中运行) 2. 测试方法: a) 程序启动时,指定并发存储文件的数量,并分别指定文件存储路径及文件名;(最多四个文件) b) 为每个文件申请内存空间,申请内存大小不限; c) 对每片内存使用递增数进行初始化; d) 为每路数据配备一个计时器,同时开启多路数据写入操作,并启动计时器; e) 循环将内存中的数据写入对应文件,写入总数据量可调,初始为10GB; f) 数据写完后,打印每个文件的写入时长及对应写入带宽; 3. 调用函数不限,可设置各种参数,使得写入带宽尽量高。
从hdfs读取文件夹加密压缩传到ftp服务器上
最近项目中需要从hdfs读取文件夹加密压缩到ftp服务器上,目前采用的方案是从hdfs上下载文件到本地,后加密压缩,接着上传到ftp上。由于有三次io操作过程,效率和速度都不理想。目前想读取hdfs文件流的同时进行加密压缩流,然后将流写到ftp服务器上,求教此方案是否可行或者能否有现有的工具类可以快速实现,谢谢
POI 读取Excel文件,导致内存突然增大
## 1、目标 主要实现 替换excel2003与excel2007文件中某些字符,excel文件大概15M,并且包含一些图片。首先需要读取一个excel文件映射表(不包含图片),将该映射表内容读入Map中,然后再读取待替换excel文件,并根据Map中内容替换excel文件中字符串,最后输出处理好的EXCEL文件(包含图片). ## 2、问题描述 1、本机计算机内存24G,JDK8, 在eclispe环境中运行时,可以读取并解析EXCEL映射文件,并按照Map替换目标excel文件中字符串。 2、 但是我用exe4j将项目jar打包成exe文件,在内存为8G的测试计算机上运行时,读取excel映射文件时就会导致内存占用很大,内存占用增长速度很快,瞬间导致计算机内存占满。 3、 exe4j打包使用了本地安装解压的jre包,没有把jdk打包进去。 4、 在本机(24G内存)用eclipse运行和用exe运行时,用jconsole监测了一下,读取excel映射文件时内存占用率不是很高,大概400M左右,最高不会超过1G内存。excel映射文件只有200kb左右。 ## 3 问题 请问这中情况是否与exe4j只打包了jre有关,能否用我本地安装的jre库打包到exe文件中。 为什么在我本机内存不会占满,而在其它测试机上内存过分的高。这个可能与excel文件解析的方法有关,但我不是很明白不同计算机测试效果差别这么大。 ## 4 解析excel相关代码如下 ``` //存储映射表Map,WeakHashMap <String, String> valueMap = new WeakHashMap<>() valueMap.clear(); File savedFile = new File(path); InputStream ins = null; try { ins = new FileInputStream(savedFile); } catch (FileNotFoundException e) { throw new DefException("文件"+path+"不存在",e); } Workbook wb = null; try { wb = WorkbookFactory.create(ins); } catch (InvalidFormatException e) { throw new DefException("文件"+path+"格式错误",e); } catch (IOException e) { throw new DefException("文件"+path+"导入异常",e); } //HSSFWorkbook wb = new HSSFWorkbook(ins); Sheet sheet = null; int sheetNumber = wb.getNumberOfSheets(); for (int i = 0; i < sheetNumber; i++) { sheet = wb.getSheetAt(i); //行数 int lastRowNum = sheet.getPhysicalNumberOfRows(); //读取body for (int rowNum = 1; rowNum < lastRowNum; rowNum++) { //获得当前行 Row row = sheet.getRow(rowNum); //index序列号从0开始,跳过首行,取1 if (row == null) { continue; } Cell oldm = row.getCell(1); if (oldm == null) { continue; } else { oldm.setCellType(HSSFCell.CELL_TYPE_STRING); } Cell newm = row.getCell(3); if (newm == null) { continue; } else { newm.setCellType(HSSFCell.CELL_TYPE_STRING); } String oldValue = oldm.getStringCellValue().toString(); String newValue = newm.getStringCellValue().toString(); if (!"".equals(oldValue) && !"".equals(newValue)) { valueMap.put(oldValue, newValue); } } } try { ins.close(); } catch (IOException e) { throw new DefException("关闭映射文件"+path+"错误",e); } ```
新手求助,java编程中的一些小问题
编写程序,实现读取文件时候出现一个表示进度的进度条。我写的程序是这样的但是在eclipse中,按钮的监听事件不能执行。这是怎么回事。代码如下: package jindutiao; import javax.swing.*; import java.awt.*; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.FileReader; import java.io.InputStream; public class JinDu extends JFrame { private JFrame jf=new JFrame("进度"); private Container co=jf.getContentPane(); private JButton openbutton=new JButton("读取文件"); private JPanel jp=new JPanel(); public JTextArea jt=new JTextArea(); //private ProgressMonitorInputStream pmi=new ProgressMonitorInputStream(parentComponent, message, in); JinDu() { File file=new File("Data.txt"); if(file.exists()){ file.delete(); }else{ try{ file.createNewFile(); }catch(Exception e){ e.printStackTrace(); } } try{ FileOutputStream out=new FileOutputStream(file); byte buy[]="jhfjfhjhfsdjhfkbsdgfuhjbhdsbasdgfhsdfggfhdsgfhbdsfjksdhfashfsdhfuehfdshfushhdsghffhgfuyegf".getBytes(); //+" hfjdfjsnfjsdhfjsnfjashfsdnfjsdhfjsdafhsjdsahnfjnjasfjiesajfkljhfoiesjfiowerfi".getBytes(); out.write(buy); out.close();}catch(Exception e2){ e2.printStackTrace(); } jf.setVisible(true); jf.setSize(200, 250); jf.setDefaultCloseOperation(jf.EXIT_ON_CLOSE); //co.setLayout(new GridLayout(2, 1, 10, 10)); jp.add(openbutton); co.add(jp); openbutton.addActionListener(new ActionListener() { @Override public void actionPerformed(ActionEvent e) { try{ FileInputStream in=new FileInputStream(file); byte byt[]=new byte[5000]; int len=in.read(byt); //jt.setText(new String(byt,0,len)); ProgressMonitorInputStream pmi=new ProgressMonitorInputStream(jf, "Loding",in); ProgressMonitor progressMonitor = pmi.getProgressMonitor(); int read_unit = 2;// 设置每次读取的字节数 int all = pmi.available();// 得到目标文件的总字节数 int readed = 0;// 每次实际读取到的字节数 byte[] data = new byte[read_unit];// 字节数组,保存读取到的字节数 while (pmi.available() > 0) { Thread.sleep(1);// 故意放慢速度好看清进度条 int into = pmi.read(data); readed += into; // System.out.write(data); float process = (float) readed / all * 100;// 算出百分比 // System.out.println("archived " + process + " %"); progressMonitor.setNote("archived " + process + " %");// 显示在进度条上 } in.close(); }catch(Exception e1){ e1.printStackTrace(); } // TODO 自动生成的方法存根 } }); // TODO 自动生成的方法存根 } // TODO 自动生成的构造函数存根 public static void main(String[] args) { new JinDu(); // TODO 自动生成的方法存根 } }
字符流 比 字节流 效率高?
java老师说操作文件的时候,如果文件是文本的就用 字符流,因为 字符流 操作文本效率高。 可是 字符流 也是基于 字节流 实现的呀! 我也做过试验,copy一个文本文件,结果是字节流的速度快.... 而且 字节流 读取速度快慢取决于每次读取的字节数组大小,这样说来 字符流 完全没优势呀! 小弟java新手,问题可能有点浅薄,忘各路大虾百忙中解答下下,谢谢。
安卓如何获取uid进程的流量下载速度?
试过好几种办法都没有办法获取一秒内的下载速度, 有用过TrafficStats的getUidRxBytes(int uid)但是获取不到返回值都是-1, NetworkStatsManager的querySummary( )但是有延迟而且还不准确, 读取文件/proc/uid_stat也失败 我使用进程的uid来get的,难道安卓不支持get到进程的下载速度吗? 我的环境是API 28 版本9.0
如何在设计网站时将文件自动下载到本地,下一次访问时自动先在本地读取?
远程云服务器上有图像、视频等文件,为提高速度、降低费用,想: 1、浏览器初次访问远程服务器,下载图片和视频; 2、下载的图片和视频存在本地,并供浏览器使用; 3、后续浏览器打开网页要使用图像和视频,自动在本地搜索,若没有,再在服务器上下载。 如何实现?不用activex、java ap 实现,免得使用者需要安装加载项。
以下哪种文件读取方法效率最高?如何通过代码测试其效率?
在同样的情况下(注:文件小于2M)分别运行以下代码,哪一个性能最高,速度最好?( ) A、import java.io.*; public class intro1 { public static void main(String args[]) { if (args.length != 1) { System.err.println("missing filename"); System.exit(1); } try { FileInputStream fis = new FileInputStream(args[0]); int cnt = 0; int b; while ((b = fis.read()) != -1) { if (b == '\n') cnt++; } fis.close(); System.out.println(cnt); } catch (IOException e) { System.err.println(e); } } } B、import java.io.*; public class intro2 { public static void main(String args[]) { if (args.length != 1) { System.err.println("missing filename"); System.exit(1); } try { FileInputStream fis = new FileInputStream(args[0]); BufferedInputStream bis = new BufferedInputStream(fis); int cnt = 0; int b; while ((b = bis.read()) != -1) { if (b == '\n') cnt++; } bis.close(); System.out.println(cnt); } catch (IOException e) { System.err.println(e); } } } C、import java.io.*; public class intro3 { public static void main(String args[]) { if (args.length != 1) { System.err.println("missing filename"); System.exit(1); } try { FileInputStream fis = new FileInputStream(args[0]); byte buf[] = new byte[2048]; int cnt = 0; int n; while ((n = fis.read(buf)) != -1) { for (int i = 0; i < n; i++) { if (buf[i] == '\n') cnt++; } } fis.close(); System.out.println(cnt); } catch (IOException e) { System.err.println(e); } } } A.A最快 B.B最快 C.C最快 D.都一样
关于dom4j 解析hbm.xml文件。。
用dom4j 解析 普通的XML速度倒是挺快的。。 但是解析hbm.xml的时候 时间就会很慢。。 我只是取其中的id的部分节点值 肿么可以更高效的读取呢?? 现在读取的话 大概4个HBM.XML 需要2分多钟才能出来。。 而且2个HBM都不超过10个字段 没有set。 2个方法: [code="java"] //读取XML文件返回doc实体 public Document getDocumentByPath(String path){ SAXReader saxReader = new SAXReader(); Document document; String end=""; try { document = saxReader.read(path); return document; } catch (DocumentException e) { e.printStackTrace(); return null; } } //读取需要的节点值 并返回 public String getXmlValue(Document doc,String rootName){ SAXReader saxReader = new SAXReader(); Document document=doc; String end=""; try { //获取并返回所有对应节点的属性值 List list = document.selectNodes(rootName); Iterator iter = list.iterator(); while (iter.hasNext()) { Attribute attribute = (Attribute) iter.next(); end=attribute.getValue(); break; } return end; } catch (Exception e) { e.printStackTrace(); return ""; } } [/code] 求指点。。
关于短信推送 打开网页线上内容技术实现方案讨论
需求:短信模板推送 指定手机号码 推送短信 并附带短连接,客户点击链接需要验证用户身份,验证完以后,用户打开一个网页,根据需要不同业务用户打开看到的网页内容不同。 分析设想:其中打开网页的内容是通过后台设置的,设置的内容类似于行政文档,文档的内容有部分是固定的格式,其他的一些内容是通过数据库读取,然后加载进来。用户打开看到的内容 难点:1. 对于用户打开的数据,因为是文档,所以内容比较多,而且要打开这个文档就会加载数据,所以用户打开这个页面会导致非常慢。 PS:服务器资源不够 难点2:怎么去实现它,我该用到什么技术 预想方案:使用freemark渲染 , 写好模板 然后填充数据,并保存静态文件,不同用户在不同业务下面 展示的内容不同。 优点: 生成静态的html,用户访问的速度很快。 缺陷:业务需要,所以freemark模板渲染 的建设会非常庞大。一旦业务扩大 模板也将增加,加大了人力成本和开发成本 未知点:是否全部可以自适应手机。 模板内容入口: ![图片说明](https://img-ask.csdn.net/upload/201910/25/1571996116_289137.png) 用户打开预览效果 ![图片说明](https://img-ask.csdn.net/upload/201910/25/1571996151_306842.png) 永不点击的效果要实现高仿真 请同行们给点意见 大家可以提议关于:交互设计、以及实现方案、以及数据的处理,非常希望能够得到大家的帮助。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
小白学 Python 爬虫(25):爬取股票信息
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(...
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我...
世界上最牛的网络设备,价格低廉,其貌不扬......
夜深人静,电视和电脑都已经关机休息,但是我还在默默工作,我安静地趴在你家中的某个地方,7*24小时不眠不休,任劳任怨,目的只有一个,能让你舒服地躺在床上,畅快地刷手机!没错,这就是我,...
《面试宝典》2019年springmvc面试高频题(java)
前言 2019即将过去,伴随我们即将迎来的又是新的一年,过完春节,马上又要迎来新的金三银四面试季。那么,作为程序猿的你,是否真的有所准备的呢,亦或是安于本职工作,继续做好手头上的事情。 当然,不论选择如何,假如你真的准备在之后的金三银四跳槽的话,那么作为一个Java工程师,就不可不看了。如何在几个月的时间里,快速的为即将到来的面试进行充分的准备呢? 1、什么是Spring MVC ?简单...
一名大专同学的四个问题
【前言】   收到一封来信,赶上各种事情拖了几日,利用今天要放下工作的时机,做个回复。   2020年到了,就以这一封信,作为开年标志吧。 【正文】   您好,我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。   先说一下我的基本情况,高考失利,不想复读,来到广州一所大专读计算机应用技术专业。学校是偏艺术类的,计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的数据分析师,我从官方数据中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试一个ArrayList我都能跟面试官扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
2020年1月中国编程语言排行榜,python是2019增长最快编程语言
编程语言比例 排名 编程语言 最低工资 工资中位数 最低工资 最高工资 人头 人头百分比 1 rust 20713 17500 5042 46250 480 0.14% 2 typescript 18503 22500 6000 30000 1821 0.52% 3 lua 18150 17500 5250 35000 2956 0.84% 4 go 17989 16...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
Idea 中最常用的10款插件(提高开发效率),一定要学会使用!
学习使用一些插件,可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
工作十年的数据分析师被炒,没有方向,你根本躲不过中年危机
2020年刚刚开始,就意味着离职潮高峰的到来,我身边就有不少人拿着年终奖离职了,而最让我感到意外的,是一位工作十年的数据分析师也离职了,不同于别人的主动辞职,他是被公司炒掉的。 很多人都说数据分析是个好饭碗,工作不累薪资高、入门简单又好学。然而今年34的他,却真正尝到了中年危机的滋味,平时也有不少人都会私信问我: 数据分析师也有中年危机吗?跟程序员一样是吃青春饭的吗?该怎么保证自己不被公司淘汰...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
立即提问