急急急!java实现将txt文件数据导入数据库中 20C

急急急!java实现将txt文件数据导入数据库中。百万级别的数据。各位有什么好的办法吗

6个回答

首先这些数据是不是规范数据?如果规范的话,可以这么做
1. 通过 head 命令等其他工具查看文件前几行数据,分析规律,主要包括 字段的分隔符是什么,字段属性是什么,字段对应的列名是什么?
2. 通过Java缓存、获取文件句柄,然后每次读取一行到缓存中,如果没有创建表结构先创建表结构,分割每行字符,然后拼接成对应sql语句,然后通过for循环执行 sql语句插入数据,如果这些数据都是可信的
3. 为了插入的高效,可以一次插入 多个数据 value(),... 还有暂停这个库的所有连接、查询等其他服务
4. 不推荐使用多线程进行操作,防止发生死锁现象,这么大的数据,毕竟纯粹的IO流,依次插入既可以保证一致性也可以出错快速定位出错在哪一行
5. 如果数据不遵守规范,哈哈,放弃治疗吧,孩子,哈哈,祝你好运

代码参考:https://blog.csdn.net/jojoy_828/article/details/1911236

为了优化速度,可以做一些优化:
(1)确保表没有插入触发器和关系,如果有,先暂时删除
(2)不要建立索引
(3)关闭日志

weixin_42101525
weixin_42101525 同求
一年多之前 回复

用LOAD DATA INFILE
请参见这里

JAVA调用SHELL,SHELL调用SQL LOADER

你的题目是txt文件导入数据库,那肯定是规范的格式数据,不然没法做或者很难做。
1.针对楼主的问题,楼上有哥们说不推荐使用多线程,这个我持否定态度,这个主要是考虑性能问题,多线程不可避免,其次还要配合批量插入使用,
就是每1000条或者几千条入库一次,不要一条一条入库,这样就可以保证性能问题。
2.针对以上方案,我建议楼主使用LineNumberReader和RandomAccessFile这俩类,把文件分割成N份,然后起N个线程去处理。
3.或者使用生产者消费者模式来解决,还是使用2中的方案,但是还要另外再加几个消费者线程,负责解析入库,生产者只负责读数据。希望对楼主能有所帮助。

我用的Navicat工具,右键表选择导入向导可以用txt导入

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
急急急!!!现有一个txt文件,请问怎样将其中的十进制数据转换成二进制数据并写入另一个txt
现有一个txt文件,请问怎样将其中的十进制数据转换成二进制数据并写入另一个txt
急急急!!!!iOS如何在程序中获取到手机日历中的日程关键字信息,求大神解救
急急急!!!!iOS如何在程序中获取到手机日历中的日程关键字信息,求大神解救 急急急!!!!iOS如何在程序中获取到手机日历中的日程关键字信息,求大神解救
急急急!!mysql,查询中ORDER BY A,B,C DESC 太慢,如何优化??
急急急!!mysql,查询中ORDER BY A,B,C DESC 太慢,如何优化??急急急!!mysql,查询中ORDER BY A,B,C DESC 太慢,如何优化?? 查询50万条数据,慢死了
Asp将txt文件上传数据库
求大神用asp将txt文件上传到MySQL数据库或者Access数据库都行,急急急!!!!!! 最好有源代码,初次学习编程,想求个例子
求大神,发一个简易的银行系统代码,谢谢 急急急!!!
用txt存取用户信息,把用户信息放到ArrayList集合进行操作 包含 开户 存款 转账 谢谢 急急急!!!
java+swing界面进度条不能同步,该怎样解决,急急急急急!!!!!
for(int i=0;i<5464646354;i++){ ........... double xx=(double)(i/Diedai.iteration)*100; int x=(int)xx; AboutIOBLPSO.JinDuTiao.setValue(x); //AboutIOBLPSO是一个类,里面有变量 public static javax.swing.JProgressBar JinDuTiao; .......... } 为什么这样做在运行AboutIOBLPSO类的时候进度条始终不变 急急急急急急!!!!
急急急!在ie浏览器下,引入java包并从数据库获取数据后css文件失效了
同一个css文件,在360安全浏览器急速模式或360急速浏览器急速模式(总之是非兼容模式)下显示正常是我要的样式,但在ie浏览器,以及兼容模式下显示不出正常,但还不是完全显示不正常,我发现只有引入了java包并有jsp语句的jsp页面css失效了。貌似是jsp语句影响了css样式?求解决方案,急急急~!
chrome的扩展如何在代码里自动安装,急急急!!! js或c++
chrome的扩展如何在代码里自动安装,急急急!!! js或c++
手机接上U盘,如何自动安装U盘中的apk,急急急!
手机接上U盘,如何自动安装U盘中的apk,急急急!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
java连接微信小程序云数据库
请问如何用java去连接微信小程序的云数据库呀 急急急!!!
java对图片进行旋转,怎么保证不失真呢,求教大神帮忙,急急急!
java对图片进行旋转,怎么保证不失真呢,求教大神帮忙,急急急!
请问 sql 怎样 查询最接近某一值的3条数据?急急急!!!
请问 sql 怎样 查询最接近某一值的3条数据?求sql语句如1,2,6,9,120,150,160,查询最接近9的3条记录数值,既1,2,6急急急啊!!!!!!!!!
asp.net 求海康威视 在线查看监控 手机网页版 求指条明路!大神快来解答!!急急急!!!!
如题 需要做成手机页面的 技术用asp.net 只需要能看到摄像头的内容 asp.net 求海康威视 在线查看监控 手机网页版 求指条明路!大神快来解答!!急急急!!!!
java怎么把MP3的格式转成pcm的格式,求大神解决,最好有代码,急急急!!!!!
最近做一个java项目,需要用到pcm文件格式的数据,但原始数据是mp3格式的,求java实现 mp3文件转pcm文件
多表关联按照一个地区插入到一张新表中。在线跪求各位大神,急急急!!!
多表关联,我现有多张表,想将数据提取出来,按照一个地区插入到一张新表中,但是这些多张表,有的比如有西安,但是有的有没有西安,所以会造成数据的丢失,有什么好的方法可以解决?在线跪求各位大神,急急急!!!
急急急!!!!ASP.NET 网站开发怎么根据数据(最好是MYSQL数据库中的数据)绘制波形
ASP.NET 网站开发怎么根据数据(最好是MYSQL数据库中的数据)绘制波形 求大神啊啊 !!!!!!!
用本地plsql怎么连接linux中的数据库。急急急!!!!
在本地上安装了oracle数据库服务器,还下了instance client安装,环境变量也配了,并且在tnsnames.ora中也添加了相应的实例配置,就是怎么也连不上Linux中的数据库。求大神解救一下。
安卓运行程序时闪退,不知道是什么原因,求大神告知,急急急!!!!
![图片说明](https://img-ask.csdn.net/upload/201710/07/1507344462_281920.png) 急急急!!!!
mysql函数大全的问题?????急急急!!!!!!
哪位大佬有mysql函数的工具资料啊!类似我在左侧点击右侧会显示我所需要的东西,并会展示出使用该函数的注意事项、使用规则。哪位大佬知道给老弟点意见或者指个方向吗?、、感激不尽!!!谢谢
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
使用 Docker 部署 Spring Boot 项目
Docker 技术发展为微服务落地提供了更加便利的环境,使用 Docker 部署 Spring Boot 其实非常简单,这篇文章我们就来简单学习下。首先构建一个简单的 S...
英特尔不为人知的 B 面
从 PC 时代至今,众人只知在 CPU、GPU、XPU、制程、工艺等战场中,英特尔在与同行硬件芯片制造商们的竞争中杀出重围,且在不断的成长进化中,成为全球知名的半导体公司。殊不知,在「刚硬」的背后,英特尔「柔性」的软件早已经做到了全方位的支持与支撑,并持续发挥独特的生态价值,推动产业合作共赢。 而对于这一不知人知的 B 面,很多人将其称之为英特尔隐形的翅膀,虽低调,但是影响力却不容小觑。 那么,在...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
刷了几千道算法题,这些我私藏的刷题网站都在这里了!
遥想当年,机缘巧合入了 ACM 的坑,周边巨擘林立,从此过上了"天天被虐似死狗"的生活… 然而我是谁,我可是死狗中的战斗鸡,智力不够那刷题来凑,开始了夜以继日哼哧哼哧刷题的日子,从此"读题与提交齐飞, AC 与 WA 一色 ",我惊喜的发现被题虐既刺激又有快感,那一刻我泪流满面。这么好的事儿作为一个正直的人绝不能自己独享,经过激烈的颅内斗争,我决定把我私藏的十几个 T 的,阿不,十几个刷题网...
白话阿里巴巴Java开发手册高级篇
不久前,阿里巴巴发布了《阿里巴巴Java开发手册》,总结了阿里巴巴内部实际项目开发过程中开发人员应该遵守的研发流程规范,这些流程规范在一定程度上能够保证最终的项目交付质量,通过在时间中总结模式,并推广给广大开发人员,来避免研发人员在实践中容易犯的错误,确保最终在大规模协作的项目中达成既定目标。 无独有偶,笔者去年在公司里负责升级和制定研发流程、设计模板、设计标准、代码标准等规范,并在实际工作中进行...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
redis分布式锁,面试官请随便问,我都会
文章有点长并且绕,先来个图片缓冲下! 前言 现在的业务场景越来越复杂,使用的架构也就越来越复杂,分布式、高并发已经是业务要求的常态。像腾讯系的不少服务,还有CDN优化、异地多备份等处理。 说到分布式,就必然涉及到分布式锁的概念,如何保证不同机器不同线程的分布式锁同步呢? 实现要点 互斥性,同一时刻,智能有一个客户端持有锁。 防止死锁发生,如果持有锁的客户端崩溃没有主动释放锁,也要保证锁可以正常释...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
Java世界最常用的工具类库
Apache Commons Apache Commons有很多子项目 Google Guava 参考博客
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员...
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC...
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下...
为什么要学数据结构?
一、前言 在可视化化程序设计的今天,借助于集成开发环境可以很快地生成程序,程序设计不再是计算机专业人员的专利。很多人认为,只要掌握几种开发工具就可以成为编程高手,其实,这是一种误解。要想成为一个专业的开发人员,至少需要以下三个条件: 1) 能够熟练地选择和设计各种数据结构和算法 2) 至少要能够熟练地掌握一门程序设计语言 3) 熟知所涉及的相关应用领域的知识 其中,后两个条件比较容易实现,而第一个...
Android 9.0 init 启动流程
阅读五分钟,每日十点,和您一起终身学习,这里是程序员Android本篇文章主要介绍Android开发中的部分知识点,通过阅读本篇文章,您将收获以下内容:一、启动流程概述一、 启动流程概述Android启动流程跟Linux启动类似,大致分为如下五个阶段。1.开机上电,加载固化的ROM。2.加载BootLoader,拉起Android OS。3.加载Uboot,初始外设,引导Kernel启动等。...
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问