急急急!java实现将txt文件数据导入数据库中。百万级别的数据。各位有什么好的办法吗
6条回答 默认 最新
- jia2jiayuan 2018-04-29 02:55关注
首先这些数据是不是规范数据?如果规范的话,可以这么做
1. 通过 head 命令等其他工具查看文件前几行数据,分析规律,主要包括 字段的分隔符是什么,字段属性是什么,字段对应的列名是什么?
2. 通过Java缓存、获取文件句柄,然后每次读取一行到缓存中,如果没有创建表结构先创建表结构,分割每行字符,然后拼接成对应sql语句,然后通过for循环执行 sql语句插入数据,如果这些数据都是可信的
3. 为了插入的高效,可以一次插入 多个数据 value(),... 还有暂停这个库的所有连接、查询等其他服务
4. 不推荐使用多线程进行操作,防止发生死锁现象,这么大的数据,毕竟纯粹的IO流,依次插入既可以保证一致性也可以出错快速定位出错在哪一行
5. 如果数据不遵守规范,哈哈,放弃治疗吧,孩子,哈哈,祝你好运解决 3无用
悬赏问题
- ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
- ¥100 为什么这个恒流源电路不能恒流?
- ¥15 有偿求跨组件数据流路径图
- ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
- ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
- ¥15 CSAPPattacklab
- ¥15 一直显示正在等待HID—ISP
- ¥15 Python turtle 画图
- ¥15 stm32开发clion时遇到的编译问题
- ¥15 lna设计 源简并电感型共源放大器