java 解析超大xml文件同时要保存到数据库中有哪些方法比较快?

这个xml文件有60M左右

我试着用了下SAX,直接解析出来倒是挺快的,只用了72秒,

但当我解析出来的同时插入数据库中时,就慢了好多,算起来要5个多小时

你们谁有什么比较快的方法么?

4个回答

楼主解决了@我一下哈 也学习一下 谢谢了

可以先把数据全部都先解析出来然后放入缓存当中,然后一次性入库,这样可以减少与数据库的交互次数,可以加快速度

可以保存为json格式,这样空间小

首先,超大XML的解析,应该使用SAX解析工具,可以边读取边解析,优与DOM4j全部载入内存后转换为文档树。
其次,就是分析你的xml格式,按标签解析各个属性的值可以封装成Java对象,达到一定量后执行批量SQL完成插入。

wojiushiwo945you
毕小宝 入库的操作不要一条一条的入,要批量一次1000条或者500,减少数据库连接获取的次数。这是提高效率的关键、
大约 3 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!