每天定时从FTP上下载一份上百万数据量的压缩文件到服务器，然后解压，再然后读取这批文件，一个文件可能就1KB,可能一个文件夹里有上百万个文件，怎样快速的读取这批文件的信息，然后插入数据库呢，读完一个文件要同时把这个文件备份到另一个目录下，同时原目录下这个文件也要删除，请问各位大神，有什方法可以快速的写入数据，有没有demo参考一下，本人是菜鸟中菜鸟来的！
1条回答 默认 最新
oyljerry 2015-02-04 03:20关注这个基本上选取一个你熟悉的脚本语言来做，就比较简单
比如python
你用urllib库下载文件，ZipFile解压，open打开文件，读取内容，通过mysql存储数据库，mysqldb类库存入数据库，shutil类库删除文件本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2011-09-02 16:59本节将详细介绍如何使用Java代码将图片数据插入到数据库中。示例中使用的数据库为Oracle数据库。 ##### 2.1 保存图片到数据库 ```java public void savePic(InputStream is) { String insertSql = "insert into ...
- 2016-03-03 16:20在IT领域，尤其是在Web开发中，有时我们需要将图片等二进制数据存储到数据库中，以便于管理和检索。本文将详细讲解如何将图片以字节流的形式存入数据库，然后从数据库中取出并显示。我们将以一个名为"SaveGetPicture...
- 2023-03-28 16:25lingkun_孟�的博客 使用python向oracle中插入clob字段
- 2022-09-18 11:17G11176593的博客 2,其实很简单，只有三个文件： UploadImage.java：负责将图片存入数据库 showImage.jsp：负责将图片从数据库中读出来 index.jsp：负责显示，插入图片等操作 先上效果图： 然后咱们来看整个项目的大体框架： 闲话少...
- 2021-08-10 15:07室点密可汗的博客 重装软件后，数据安装时出现“无法分离数据库，zy-sos 当前在使用”。 解决方法：停止服务管理器。 双击桌面右小角图标，点击停止，右键退出 或 点击开始--程序--sql企业管理器--停止--退出。 8、软件升级。 解决...
- 2017-03-02 15:53闭家锁sos的博客 1.数据库DBHELper: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Data.SqlClient; using System.Data; namespace FalutWinform { public ...
- 2023-08-21 15:54mming！的博客 计数）、dense_rank（相等的值排名相同，不计数）、row_number（对相等的值不进行区分）、first_value（用于获取在分组内的第一个值）、last_value、lead（用于在查询结果集中访问当前行之后的行的数据）、lag（在...
- 2025-07-22 16:28Sunny的博客 本文深入探讨了Oracle数据库在Web环境中的并发管理问题，包括对话式与伪对话式处理模式、共享锁与独占锁机制、锁定级别选择以及替代...通过合理的锁定策略选择和SQL优化，开发者可以有效提升数据库性能与数据一致性。
- 2025-11-03 02:37fish的博客 本文探讨了火山监测领域的关键技术与应用，包括传感器观测服务、网络处理服务和EO-1卫星的数据分类算法，并分析了数据库安全面临的主要威胁，特别是SQL注入攻击。针对现有防护措施的不足，文章重点介绍了SiC架构——...
- 2025-06-09 03:42DataInnovator的博客 索引应创建在经常用于查询的字段上，例如图片的名称、类型、上传时间等。SQL语句优化：优化查询语句，减少不必要的表关联和子查询，使用更有针对性的查询条件。硬件升级：提高CPU、内存和存储设备的性能，可以有效...
- 2025-10-25 07:39威哥说编程的博客 当数据量超过100万条时，DataTable会占用大量内存（100万条简单数据约占200MB）。这时可以实现// 实现IDataReader的必要成员// 其他接口成员实现...// 省略Dispose、Close等方法...// 使用自定义DataReader// 直接...
- 2021-03-16 22:07weixin_39696518的博客 本文使用mysql数据库举例插入图片到数据库和从数据库取出图片在页面显示：一、建表创建一个测试保存图片的表create table t_save_img(name varchar(200), 文件名称img longblob ,primary key(name))二、建实体类:...
- 2021-05-08 18:05kikikuka的博客 1、oracle 批量插入：insert into tableName(col1,col2,col3...)select 1,'第一行第一列值','第二列值' from dual unionselect 2,' 第二行第一列值 ','第二列值' from dual unionselect 3,' 第三行第一列值 ','第二...
- 2023-06-15 13:59DolphinDB智臾科技的博客 综上所述，业界在地震波形数据异常检测场景中，通常是先使用 FilterPicker 进行一级异常检测，若有异常点，则进一步使用深度学习的方法进行更加精确的检测。 2. 波形数据异常检测相关算法介绍 2.1 模板匹配算法 ...
- 2020-02-08 21:33威少SOS的博客 楼主也是编码了好几年了，常常有些问题看起来很简单，但细品之下却也说不出个所以然，特作此篇文章进行阐述 题目总纲： 1、什么是编码（Code）？ 2、硬件和软件的区别是什么？ 3、计算机的三大基本特征？ 4、...
- 2015-11-28 16:20oo寻梦in记的博客 本文使用mysql数据库举例插入图片到数据库和从数据库取出图片在页面显示： 一、建表 创建一个测试保存图片的表 create table t_save_img( name varchar(200), 文件名称 img longblob , primary key(name) ) 二、...
- 2019-11-28 13:34虛擬時間SOS的博客 ② Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种，适合小数据量导入导出。尤其注意的是表中不能有大字段 （blob,clob,long），如果有，会报错 ③ Pde格式：.pde格式的文件，....
- 2018-09-06 11:43飞鸟慕鱼的博客 在mysql中查找数据和插入数据时经常会遇到字符不匹配的问题,从而显示的为乱码。 我们需要注意的是2块地方，一块是客户端，一块是服务器。 客户端就是我们当前的操作界面，在windows下也就是dos下，这一部分是...
- 2025-07-22 23:59rice5的博客 从展示MySQL查询结果开始，深入探讨了SQLite的基本操作，包括创建数据库、表、插入和查询数据，并演示了如何通过PHP从SQLite数据库中检索和操作数据。最后通过创建一个个人待办事项列表的完整实例，将所学知识应用到...
- 2023-07-26 10:26@hhr的博客 java实现根据word模板导出数据 模板文件： 模板描述：{{?govinspectItemVOList}} 为循环遍历的数据实体 代码块： //生成文件所在路径 String dirName = System.getProperty("user.dir") + File.separator + "file"; ...
- 没有解决我的问题, 去提问
