鸭子神探 2018-04-28 10:49 采纳率: 0%
浏览 2476
已结题

急急急！java实现将txt文件数据导入数据库中

急急急！java实现将txt文件数据导入数据库中。百万级别的数据。各位有什么好的办法吗

  • 写回答

6条回答 默认 最新

  • jia2jiayuan 2018-04-29 02:55
    关注

    首先这些数据是不是规范数据？如果规范的话，可以这么做
    1. 通过 head 命令等其他工具查看文件前几行数据，分析规律，主要包括 字段的分隔符是什么，字段属性是什么，字段对应的列名是什么？
    2. 通过Java缓存、获取文件句柄，然后每次读取一行到缓存中，如果没有创建表结构先创建表结构，分割每行字符，然后拼接成对应sql语句，然后通过for循环执行 sql语句插入数据，如果这些数据都是可信的
    3. 为了插入的高效，可以一次插入 多个数据 value(),... 还有暂停这个库的所有连接、查询等其他服务
    4. 不推荐使用多线程进行操作，防止发生死锁现象，这么大的数据，毕竟纯粹的IO流，依次插入既可以保证一致性也可以出错快速定位出错在哪一行
    5. 如果数据不遵守规范，哈哈，放弃治疗吧，孩子，哈哈，祝你好运

    评论

报告相同问题？