2 qq 33310027 qq_33310027 于 2016.01.14 11:33 提问

用java向mysql中导入大量txt数据

用java向mysql中导入大量txt数据大约一百万条,怎样能用jdbc高效的存储,不用jdbc有其他方法也可以,重要的是,快图片说明求大神指点一二,尽量不要发百度连接啥的,我差不多都找过了,说的详细点,图片说明图片说明跪求

6个回答

q444916237
q444916237   2016.01.14 21:27
已采纳

批处理..
什么?批处理还不爽?
那就批处理这种语句:insert into XXX(a,b,c,d,d) values(1,1,1,1,1,),(2,2,2,2,2,2),(3,3,3,3,3)
还不爽?那就多线程去跑.
一百W数据不大.连本地库应该数秒就可以解决

qq_33310027
qq_33310027 我的可以每秒一万了,但是纯jdbc也就这么快了,不考虑多线程还有加快的办法么?
接近 2 年之前 回复
qiubabin
qiubabin   2016.01.14 11:42

大量的数据导入最好不要用jdbc程序导入,因为比较慢,最好的方式是先将txt数据处理成可直接导入的txt格式,然后直接使用mysql自带的load命令直接导入,那个速度绝对提升N个量级。如果格式不正确,也建议先用程序处理成格式正确的,然后命令导入。如果一定要求jdbc导入,那么一定要多线程批量提交操作比较快。

qq_33310027
qq_33310027 好吧!
接近 2 年之前 回复
qq_33310027
qq_33310027 如果必须要用呢?有什么便捷的方法么?
接近 2 年之前 回复
CSDNXIAON
CSDNXIAON   2016.01.14 11:35

java把txt文件中的数据导入mysql数据库
MYSQL导入数据到TXT
将txt数据导入mysql
----------------------同志你好,我是CSDN问答机器人小N,奉组织之命为你提供参考答案,编程尚未成功,同志仍需努力!

l294265421
l294265421   2016.01.14 11:43

用多线程,这种io密集型应该会有很大提供

oyljerry
oyljerry   Ds   Rxr 2016.01.14 11:51

直接用mysqlimport工具。

qq_33310027
qq_33310027 必须通过java,因为txt是一部分数据
接近 2 年之前 回复
qq_23497379
qq_23497379   2016.01.14 11:57

哈哈 我刚好也要做这个东西 同样求教

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!