求助,怎样做Excel大文件上传,解析。 5C

做一个通过jsp上传Excel文档,后台进行解析的功能,项目是struts2,一开始,我是这样写的:
jsp:

<div id="dlg2" class="easyui-dialog" style="width:400px;height:180px;padding:10px 20px"
        closed="true" buttons="#dlg-buttons2">
        <form id="uploadForm" method="post" enctype="multipart/form-data">
            <table style="width:320px;height:80px;">
                <tr>
                    <td>下载模版:</td>
                    <td><a href="javascript:void(0)" class="easyui-linkbutton"  onclick="downloadTemplate()">下载模板文件</a></td>
                </tr>
                <tr>
                    <td>上传文件:</td>
                    <td><input type="file" name="userUploadFile" id="selectedExcel"></td>
                </tr>
            </table>
        </form>
</div>

<div id="dlg-buttons2">
    <a href="javascript:void(0)" class="easyui-linkbutton" iconCls="icon-ok" onclick="uploadFile()">导入</a>
    <a href="javascript:void(0)" class="easyui-linkbutton" iconCls="icon-cancel" onclick="javascript:$('#dlg2').dialog('close')">关闭</a>
</div>

js:
function uploadFile(){
debugger;
var fileName = $('#selectedExcel').val();
if(fileName == ""){

$.messager.alert('提示','请选择上传文件!','info');
return;
}
fileext = fileName.substring(fileName.lastIndexOf(".")+1,fileName.length);
fileext = fileext.toLowerCase();
if (fileext == 'xls' || fileext == 'xlsx'){
$.messager.progress({title:'提示',msg:'正在导入,请稍候...'});
$("#uploadForm").form('submit',{
type : "post",
url : "<%=basePath%>" + "ImportAndExport/DataImport.action?selType=" + selType + "&fileext=" + fileext,
data : "",
dataType : "json",
success : function(result){
$.messager.progress("close");
var data = result.split("\"");
$.messager.alert('提示',data[1],'info');
},
});
}
else{
$.messager.alert('提示','请选择xls/xlsx格式文件!','info');
}
}

后台action接收方法:
public String upload() throws Exception{
try
{
HttpServletRequest request = ServletActionContext.getRequest();

String selType = request.getParameter("selType");
String fileext = request.getParameter("fileext");
ImportServiceImpl isi = new ImportServiceImpl();
resultTip = isi.importExcelByType(userUploadFile, selType, fileext);

    } catch (Exception e)
    {
        resultTip = "导入失败!请参考:" + e.getMessage();
        e.printStackTrace();
    }
    return "importResult";
}

service进行解析:
public String importExcelByType(File f,String type,String ext){
Workbook workbook = null;
int recordNum = 0;//记录插入记录数
try
{

        if(XLS.equals(ext)){
            workbook = new HSSFWorkbook(new FileInputStream(f));
        }
        else if(XLSX.equals(ext)){
            workbook = new XSSFWorkbook(new FileInputStream(f));
        }

        Sheet sheet = workbook.getSheetAt(0);

直接用new XSSFWorkbook(new FileInputStream(f))或new HSSFWorkbook方法,获得Workbook对象。

但是,我要解析的Excel文件数据量比较大,一般都是10万条左右,获得Workbook对象的这一步直接内存溢出,拆到一万条一个文件的时候可以跑,但是十分钟很慢,于是上网找了找其他的解析Excel方法,找到了一个号称占用小速度快的,Eclipse跑了有效:

我把这个代码拿过来用,加了个返回值List的readExcel方法,内容就是:
public static List readExcel(String f,int columnNum) throws Exception{
// List list=XLSXCovertCSVReader.readerExcel("d:\a.xlsx", "sheet1", 45);
List list = XLSXCovertCSVReader

.readerExcel(
// "C:\Users\hbkn\Desktop\dnbb亳州导入数据\dnbb亳州\中压基础数据查询结果\中压测试.xlsx",
"d:\a.xlsx",
"Sheet1", 45);
return list;
}
然后我高高兴兴拿过来用,修改action方法如下:
public String upload() throws Exception{
InputStream is=null;
OutputStream os=null;
String temp="d:\a.xlsx";
try {

is = new BufferedInputStream(new FileInputStream(userUploadFile));
os = new BufferedOutputStream(new FileOutputStream(temp));

        byte[] buffer = new byte[1024];  
        int len=0;  
        while((len=is.read(buffer))>0){  
            os.write(buffer,0,len);  
        }

        HttpServletRequest request = ServletActionContext.getRequest();
        String selType = request.getParameter("selType");
        String fileext = request.getParameter("fileext");
        ImportServiceImpl isi = new ImportServiceImpl();
        resultTip = isi.importExcelByType1(temp, selType, fileext);
    }catch(Exception e){
        resultTip= "导入失败!请参考:" + e.getMessage();
        e.printStackTrace();
    }finally{  
        if(is !=null){is.close();}  
        if(os!=null){os.close();}  
    }  
    return "importResult";  
}

修改service方法如下:
public String importExcelByType1(String f,String type,String ext){
try {
String[] colArr = getColumnName(type).split(",");
HashMap colMap = new HashMap();
for(int i = 0;i < colArr.length;i++){
colMap.put(colArr[i].split(":")[0], colArr[i].split(":")[1]);
}

        List<String[]> readExcel = XLSXCovertCSVReader.readExcel(f, colArr.length);
        System.out.println(readExcel.size());

    } catch (Exception e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    return ext;
}

发现报:
org.apache.poi.openxml4j.exceptions.InvalidOperationException: Can't open the specified file: 'd:\a.xlsx'
at org.apache.poi.openxml4j.opc.ZipPackage.(ZipPackage.java:106)
at org.apache.poi.openxml4j.opc.OPCPackage.open(OPCPackage.java:221)
at com.ssh.effectiveCheck.util.XLSXCovertCSVReader.readerExcel(XLSXCovertCSVReader.java:451)
at com.ssh.effectiveCheck.util.XLSXCovertCSVReader.readExcel(XLSXCovertCSVReader.java:480)
at com.ssh.effectiveCheck.service.impl.ImportServiceImpl.importExcelByType1(ImportServiceImpl.java:45)
at com.ssh.effectiveCheck.action.ImportAction.upload(ImportAction.java:72)
。。。。。
Caused by: java.util.zip.ZipException: error in opening zip file
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.(ZipFile.java:219)
at java.util.zip.ZipFile.(ZipFile.java:149)
at java.util.zip.ZipFile.(ZipFile.java:163)
at org.apache.poi.openxml4j.opc.internal.ZipHelper.openZipFile(ZipHelper.java:174)
at org.apache.poi.openxml4j.opc.ZipPackage.(ZipPackage.java:104)
... 75 more
但是我手动修改了的解析类里的需要解析的Excel文件路径,不再让它解析我上传后的Excel,而是解析本地的原本的Excel(tomcat服务安装在本地),不报这个错了,list也成功取到了。
也就是说网上找到的这个解析方法不认我上传之后的Excel文件(明明WPS一样可以打开)。
在这个过程中,我又动了歪脑筋,这个服务是单机版,以后部署也是单机,那我能不能不上传,直接让服务解析本地的Excel呢?

所以,各位高手,我想得到解决方案(任一即可),
1。通过jsp获取一个文件的本机绝对路径(我用var fileName = $('#selectedExcel').val();试了,debug显示是fileName = "C:\fakepath\中压测试1.xlsx",这个并不是真实路径)。
2.求正确的上传Excel文件的方法,能让上面链接里代码可以成功解析的那种。
3.Workbook解析Excel大文件的正确姿势,能不能做到分段,占用内存小,速度快的那种。

7个回答


这个是网上找到的方法,上面的不知为什么漏了。

和一般的文件上传方法一样
,如果你会上传图片,这个也能做

主要控制上传文件大小的是webconfig的配置 你可以参考这个https://www.cnblogs.com/chzbgb/p/6801421.html

问题1:
打开ie浏览器-->internet 选项-->安全-->自定义级别-->其他-->将"将文件上载到服务器时显示文件目录路径"启用;
确定之后再重新开始你的操作。

图片说明
图片中的方法可以访问本地路径;
还有一种就是你上传到tomcat中的项目路径,这种方法不用配置,但是重启tomcat会自动清除上传的文件

数据太多做客户端程序读取excel数据吧,web只负责上传

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
求助,写一个VFP直接读写EXCEL二进制文件的程序,求教EXCEL文件格式。
-
求助!打开excel文件时,如何使第一张工作表为当前活动工作表?
-
jxl生成excel时同名文件问题求助
-
求助,用java怎么解析.img格式文件的栅格数据?
-
大神求助java导入一个excel2007文件如何转成2003
-
求助!!雅虎天气返回的xml文件用dom怎么解析?
-
qt编程中excel文件如何导入mysql中
-
求助,libxml2在arm平台上无法解析gb2312编码文件
-
求助:使用JAVA 语言解析.DB文件
-
求助,导出excel2007,CEVUtil是哪个jar里的?
-
求助csdn的大神们, java如何解析grib1文件?
-
新手求助eclipse老司机,如何导出项目下所有css,sql,js,java文件名到excel。
-
有关 Excel 打开txt文件问题
-
求助,如何搭建文件服务器?
-
Python读取符合一定条件的Excel数据,复制到文本文件中
-
小白求助:poi排序excel的问题
-
本地文件上传到hadoop文件夹时出错。各路求助大神。
-
【求助】关于php解析xml问题
-
求助有关excel的问题:两个单元格内容互斥
-
记一道字节跳动的算法面试题
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 帅地来源公众号 | 苦逼的码农前几天有个朋友去面试字节跳动,面试官问了他一道链表相...
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
吃人的那些 Java 名词:对象、引用、堆、栈
作为一个有着 8 年 Java 编程经验的 IT 老兵,说起来很惭愧,我被 Java 当中的四五个名词一直困扰着:**对象、引用、堆、栈、堆栈**(栈可同堆栈,因此是四个名词,也是五个名词)。每次我看到这几个名词,都隐隐约约觉得自己在被一只无形的大口慢慢地吞噬,只剩下满地的衣服碎屑(为什么不是骨头,因为骨头也好吃)。
LeetCode解题汇总目录
此篇为LeetCode刷题的汇总目录,方便大家查找,一起刷题,一起PK交流! 已解题目 考点 LeetCode 1. 两数之和(哈希) LeetCode 2. 两数相加(单链表反转) LeetCode 9. 回文数 LeetCode 11. 盛最多水的容器(双指针) LeetCode 15. 三数之和 LeetCode 17. 电话号码的字母组合(回溯...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
不识 Pandas,纵是老手也枉然?
作者 |周志鹏 责编 | 郭 芮 这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。 至于原因嘛,理解不够,实践不够是两条老牌的拦路...
接班马云的为何是张勇?
上海人、职业经理人、CFO 背景,集齐马云三大不喜欢的张勇怎么就成了阿里接班人? 作者|王琳 本文经授权转载自燃财经(ID:rancaijing) 9月10日,张勇转正了,他由阿里巴巴董事局候任主席正式成为阿里巴巴董事局主席,这也意味着阿里巴巴将正式开启“逍遥子时代”。 从2015年接任CEO开始,张勇已经将阿里巴巴股价拉升了超过200%。但和马云强大的个人光环比,张勇显得尤其...
14 个实用的数据库设计技巧
点击上方“后端技术精选”,选择“置顶公众号”技术文章第一时间送达!作者:echozhjuejin.im/post/5d5b4c6951882569eb570958原始单据...
我在快手认识了 4 位工程师,看到了快速发展的公司和员工如何彼此成就!
作者 | 胡巍巍 出品 | CSDN(ID:CSDNnews) 从西二旗地铁站B口出来,步行700多米可以看到一个工业建筑风格的院子。这个独立的院子和后厂村各大互联网公司的高楼林立有些不同。 院子里有7栋6层高的楼,几栋楼之间打通,可以从A栋自由穿行到F栋。这里就是快手总部。这个园区可以容纳6000多名员工,目前40%以上是研发人员。 这些研发人员维护着快手这款日活超过2亿的ap...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
用Python分析2000款避孕套,得出这些有趣的结论
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是: 第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。 第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。 第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。 今天,我们来看看淘宝系列的第四篇 我们在上一篇的时候已经将淘宝数据爬取下来了,...
Spring高级技术梳理
Spring高级技术梳理 序言正文SpringDate部分Spring全家桶之SpringData——预科阶段Spring全家桶之SpringData——Spring 整合Hibernate与Hibernate JpaSpring全家桶之SpringData——Spring Data JPASpring全家桶之SpringData——SpringData RedisSpringBoot部分Sp...
如何在Windows中开启"上帝模式"
原文链接 : https://mp.weixin.qq.com/s?__biz=MzIwMjE1MjMyMw==&amp;mid=2650202982&amp;idx=1&amp;sn=2c6c609ce06db1cee81abf2ba797be1b&amp;chksm=8ee1438ab996ca9c2d0cd0f76426e92faa835beef20ae21b537c0867ec2773be...
Docker 零基础从入门到使用
诺!这只可爱的小鲸鱼就是docker了! Docker 是什么? Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux 或 Windows 机器上( 摘自百度 )。 Docker 能干什么? 在讲 Docker 能干什么之前,我们不妨先看看没有 Docker 和有Docker分别是个什么样子的? 场景一 某公司需要开发...
再见 Docker,是时候拥抱下一代容器工具了
什么是 Linux 容器?Linux 容器是由 Linux 内核所提供的具有特定隔离功能的进程,Linux 容器技术能够让你对应用及其整个运行时环境(包括全部所需文件)一...
不足20行 python 代码,高效实现 k-means 均值聚类算法
关于 k-means 均值聚类算法的原理介绍、实现代码,网上有很多,但运行效率似乎都有点问题。今天稍微有点空闲,写了一个不足20行的 k-means 均值聚类算法,1万个样本平均耗时20毫秒(10次均值)。同样的数据样本,网上流行的算法平均耗时3000毫秒(10次均值)。差距竟然达百倍以上,令我深感意外,不由得再次向 numpy 献上膝盖!
分享靠写代码赚钱的一些门路
作者 mezod,译者 josephchang10如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。今天给大家分享一个精彩...
北漂程序员,扬帆起航的地方
随着耳畔传来“你看这碗又大又圆、你看这面又长又宽......碗大宽无影、像儿时的回忆......”听着挺带劲,于是看了一下手机,原来是吴亦凡的作品《大碗宽面》,随着入耳的旋律,脑子也不由自主的想起 10 年前,在平西府吃 5 块钱一大碗牛肉板面的情景。 平西府最有名的就是这个牌坊啦。记得每当有同事问起住哪里?都会自豪的说住在王府里;隔三差五也会邀请朋友去府上坐坐。其实打内心里讲,平西府是一个...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
多线程编程是后台开发人员的基本功
这里先给大家分享一个小故事:在我刚开始参加工作的那年,公司安排我开发一款即时通讯软件(IM,类似于 QQ 聊天软件),在这之前我心里也知道如果多线程操作一个整型值是要加锁...
相关热词 c#怎么调用api接口 c# 调用mstsc c#扩展函数 c#向上转换向下转换 c#chart直方图叠加 c# 添加body样式 c# 调用接口 c#高德地图经纬度查询 c# 测试并发 c# 取操作系统