会飞的架狗师 2018-04-28 10:49 采纳率: 0%
浏览 2471
已结题

急急急!java实现将txt文件数据导入数据库中

急急急!java实现将txt文件数据导入数据库中。百万级别的数据。各位有什么好的办法吗

  • 写回答

6条回答 默认 最新

  • jia2jiayuan 2018-04-29 02:55
    关注

    首先这些数据是不是规范数据?如果规范的话,可以这么做
    1. 通过 head 命令等其他工具查看文件前几行数据,分析规律,主要包括 字段的分隔符是什么,字段属性是什么,字段对应的列名是什么?
    2. 通过Java缓存、获取文件句柄,然后每次读取一行到缓存中,如果没有创建表结构先创建表结构,分割每行字符,然后拼接成对应sql语句,然后通过for循环执行 sql语句插入数据,如果这些数据都是可信的
    3. 为了插入的高效,可以一次插入 多个数据 value(),... 还有暂停这个库的所有连接、查询等其他服务
    4. 不推荐使用多线程进行操作,防止发生死锁现象,这么大的数据,毕竟纯粹的IO流,依次插入既可以保证一致性也可以出错快速定位出错在哪一行
    5. 如果数据不遵守规范,哈哈,放弃治疗吧,孩子,哈哈,祝你好运

    评论

报告相同问题?

悬赏问题

  • ¥15 深度学习根据CNN网络模型,搭建BP模型并训练MNIST数据集
  • ¥15 lammps拉伸应力应变曲线分析
  • ¥15 C++ 头文件/宏冲突问题解决
  • ¥15 用comsol模拟大气湍流通过底部加热(温度不同)的腔体
  • ¥50 安卓adb backup备份子用户应用数据失败
  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛
  • ¥15 请问Lammps做复合材料拉伸模拟,应力应变曲线问题
  • ¥30 python代码,帮调试,帮帮忙吧
  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建