每天定时从FTP上下载一份上百万数据量的压缩文件到服务器，然后解压，再然后读取这批文件，一个文件可能就1KB,可能一个文件夹里有上百万个文件，怎样快速的读取这批文件的信息，然后插入数据库呢，读完一个文件要同时把这个文件备份到另一个目录下，同时原目录下这个文件也要删除，请问各位大神，有什方法可以快速的写入数据，有没有demo参考一下，本人是菜鸟中菜鸟来的！
1条回答 默认 最新
oyljerry 2015-02-04 03:20关注这个基本上选取一个你熟悉的脚本语言来做，就比较简单
比如python
你用urllib库下载文件，ZipFile解压，open打开文件，读取内容，通过mysql存储数据库，mysqldb类库存入数据库，shutil类库删除文件本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2011-09-02 16:59本节将详细介绍如何使用Java代码将图片数据插入到数据库中。示例中使用的数据库为Oracle数据库。 ##### 2.1 保存图片到数据库 ```java public void savePic(InputStream is) { String insertSql = "insert into ...
- 2016-03-03 16:20在IT领域，尤其是在Web开发中，有时我们需要将图片等二进制数据存储到数据库中，以便于管理和检索。本文将详细讲解如何将图片以字节流的形式存入数据库，然后从数据库中取出并显示。我们将以一个名为"SaveGetPicture...
- 2023-03-28 16:25lingkun_孟�的博客 使用python向oracle中插入clob字段
- 2022-09-18 11:17G11176593的博客 2,其实很简单，只有三个文件： UploadImage.java：负责将图片存入数据库 showImage.jsp：负责将图片从数据库中读出来 index.jsp：负责显示，插入图片等操作 先上效果图： 然后咱们来看整个项目的大体框架： 闲话少...
- 2021-08-10 15:07室点密可汗的博客 重装软件后，数据安装时出现“无法分离数据库，zy-sos 当前在使用”。 解决方法：停止服务管理器。 双击桌面右小角图标，点击停止，右键退出 或 点击开始--程序--sql企业管理器--停止--退出。 8、软件升级。 解决...
- 2017-03-02 15:53闭家锁sos的博客 1.数据库DBHELper: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Data.SqlClient; using System.Data; namespace FalutWinform { public ...
- 2023-08-21 15:54mming！的博客 计数）、dense_rank（相等的值排名相同，不计数）、row_number（对相等的值不进行区分）、first_value（用于获取在分组内的第一个值）、last_value、lead（用于在查询结果集中访问当前行之后的行的数据）、lag（在...
- 2021-03-16 22:07weixin_39696518的博客 本文使用mysql数据库举例插入图片到数据库和从数据库取出图片在页面显示：一、建表创建一个测试保存图片的表create table t_save_img(name varchar(200), 文件名称img longblob ,primary key(name))二、建实体类:...
- 2021-05-08 18:05kikikuka的博客 1、oracle 批量插入：insert into tableName(col1,col2,col3...)select 1,'第一行第一列值','第二列值' from dual unionselect 2,' 第二行第一列值 ','第二列值' from dual unionselect 3,' 第三行第一列值 ','第二...
- 2023-06-15 13:59DolphinDB智臾科技的博客 综上所述，业界在地震波形数据异常检测场景中，通常是先使用 FilterPicker 进行一级异常检测，若有异常点，则进一步使用深度学习的方法进行更加精确的检测。 2. 波形数据异常检测相关算法介绍 2.1 模板匹配算法 ...
- 2020-02-08 21:33威少SOS的博客 楼主也是编码了好几年了，常常有些问题看起来很简单，但细品之下却也说不出个所以然，特作此篇文章进行阐述 题目总纲： 1、什么是编码（Code）？ 2、硬件和软件的区别是什么？ 3、计算机的三大基本特征？ 4、...
- 2015-11-28 16:20oo寻梦in记的博客 本文使用mysql数据库举例插入图片到数据库和从数据库取出图片在页面显示： 一、建表 创建一个测试保存图片的表 create table t_save_img( name varchar(200), 文件名称 img longblob , primary key(name) ) 二、...
- 2019-11-28 13:34虛擬時間SOS的博客 ② Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种，适合小数据量导入导出。尤其注意的是表中不能有大字段 （blob,clob,long），如果有，会报错 ③ Pde格式：.pde格式的文件，....
- 2018-09-06 11:43飞鸟慕鱼的博客 在mysql中查找数据和插入数据时经常会遇到字符不匹配的问题,从而显示的为乱码。 我们需要注意的是2块地方，一块是客户端，一块是服务器。 客户端就是我们当前的操作界面，在windows下也就是dos下，这一部分是...
- 2023-07-26 10:26@hhr的博客 java实现根据word模板导出数据 模板文件： 模板描述：{{?govinspectItemVOList}} 为循环遍历的数据实体 代码块： //生成文件所在路径 String dirName = System.getProperty("user.dir") + File.separator + "file"; ...
- 2022-07-21 00:34kjshuan的博客 EasyExcel实现文件上传-批量插入 文件下载
- 2017-12-20 17:44weixin_30918415的博客 DML:数据操作语言，对数据库中表的插入、修改和删除操作 关键词：UPDATE,DELETE,INSERT。注意三个都有介词：insert into,update set, delete from 在mysql数据库中,字符串和日期要包含在单引号中，只有字符和日期才...
- 2021-05-05 01:36大梁青年的博客 外部程序调用存储过程: SP_INSERTCURRENCY,执行数据插入时.有时获取sequnce.nextval不准(本例的sequence是SEQ_CURRENCY.NEXTVA),在存储过程中获取的SEQ_CURRENCY.NEXTVAL = 18. (数据表=18的记录是存在的),实际上...
- 2020-10-16 13:35弎屲的博客 MySQL数据库（二：外键 约束 主键约束 非空非负唯一 级联更新与删除 内连接 外连接 子查询 多对多 存储过程 函数 视图 触发器 权限与账户 远程登录 表的设计规范 ） ...表的字段和数据来一条查询语句存储
- 没有解决我的问题, 去提问
