每天定时从FTP上下载一份上百万数据量的压缩文件到服务器,然后解压,再然后读取这批文件,一个文件可能就1KB,可能一个文件夹里有上百万个文件,怎样快速的读取这批文件的信息,然后插入数据库呢,读完一个文件要同时把这个文件备份到另一个目录下,同时原目录下这个文件也要删除,请问各位大神,有什方法可以快速的写入数据,有没有demo参考一下,本人是菜鸟中菜鸟来的!
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率

首页/
已采纳
SOS上百万的数据插入数据库问题
收起
- 写回答
- 好问题 0 提建议
- 关注问题
微信扫一扫
点击复制链接分享
- 邀请回答
- 编辑 收藏 删除 结题
- 收藏 举报
1条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
oyljerry 2015-02-03 19:20关注这个基本上选取一个你熟悉的脚本语言来做,就比较简单
比如python
你用urllib库下载文件,ZipFile解压,open打开文件,读取内容,通过mysql存储数据库,mysqldb类库存入数据库,shutil类库删除文件本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报微信扫一扫
点击复制链接分享
编辑预览轻敲空格完成输入- 显示为
- 卡片
- 标题
- 链接
评论按下Enter换行,Ctrl+Enter发表内容
编辑
预览

轻敲空格完成输入
- 显示为
- 卡片
- 标题
- 链接
报告相同问题?
提交
- 2022-11-29 10:05回答 4 已采纳 你的目的验证 ,一句话就也行吧,js没法多行匹配再验证,所以你在网上找不到,你看这个能不能满足你的要求 function test(data) { return data.split('\n'
- 2021-08-30 08:12回答 1 已采纳 要不试试MySQL服务器增加本地DNS,把localhost_temp映射成127.0.0.1
- 2022-10-22 09:48回答 1 已采纳 int main() { int m, n, max = 1, sum = 0, deletion; scanf("%d", &m); for (int i = 0; i
- 2011-09-02 08:59本节将详细介绍如何使用Java代码将图片数据插入到数据库中。示例中使用的数据库为Oracle数据库。 ##### 2.1 保存图片到数据库 ```java public void savePic(InputStream is) { String insertSql = "insert into ...
- 2021-11-09 06:40回答 2 已采纳 一个表,俩字段,一个存key,一个存value,这不就是键值对吗然后你键值对里面value如果存的是其它节点的key,不就是树形了比如我写一个最简单的树0 10 20 31 41 51 62 72 8
- 2022-03-27 02:17回答 1 已采纳 你看看你的mysql版本是多少,创建索引时的VISIBLE关键词是mysql 8.0才增加的,具体可参考官方文档 MySQL :: MySQL 8.0 Reference
- 2017-08-22 22:06回答 6 已采纳 可以通过放在域对象例如request或者session来实现,页面中el表达式获取
- 2023-03-28 08:25lingkun_孟�的博客 使用python向oracle中插入clob字段
- 2017-07-19 01:44回答 1 已采纳 (1)日期不能修改,但是可以指向一个新的日期对象 (2)用delete * from 数据表 where 用户=你的用户id (3)可以, foreach S As String TextBox
- 2021-07-24 12:46回答 2 已采纳 如果是版本问题,那就重新安装下依赖试试
- 2021-12-17 06:00回答 1 已采纳 你题目的解答代码如下: class Person: def __init__(self,name,age,sex): self.name = name self
- 2016-03-03 08:20在IT领域,尤其是在Web开发中,有时我们需要将图片等二进制数据存储到数据库中,以便于管理和检索。本文将详细讲解如何将图片以字节流的形式存入数据库,然后从数据库中取出并显示。我们将以一个名为"SaveGetPicture...
- 2022-09-18 03:17G11176593的博客 2,其实很简单,只有三个文件: UploadImage.java:负责将图片存入数据库 showImage.jsp:负责将图片从数据库中读出来 index.jsp:负责显示,插入图片等操作 先上效果图: 然后咱们来看整个项目的大体框架: 闲话少...
- 2021-08-10 07:07室点密可汗的博客 重装软件后,数据安装时出现“无法分离数据库,zy-sos 当前在使用”。 解决方法:停止服务管理器。 双击桌面右小角图标,点击停止,右键退出 或 点击开始--程序--sql企业管理器--停止--退出。 8、软件升级。 解决...
- 2017-03-02 07:53闭家锁sos的博客 1.数据库DBHELper: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Data.SqlClient; using System.Data; namespace FalutWinform { public ...
- 2023-08-21 07:54mming!的博客 计数)、dense_rank(相等的值排名相同,不计数)、row_number(对相等的值不进行区分)、first_value(用于获取在分组内的第一个值)、last_value、lead(用于在查询结果集中访问当前行之后的行的数据)、lag(在...
- 2021-03-16 14:07weixin_39696518的博客 本文使用mysql数据库举例插入图片到数据库和从数据库取出图片在页面显示:一、建表创建一个测试保存图片的表create table t_save_img(name varchar(200), 文件名称img longblob ,primary key(name))二、建实体类:...
- 2021-05-08 10:05kikikuka的博客 1、oracle 批量插入:insert into tableName(col1,col2,col3...)select 1,'第一行第一列值','第二列值' from dual unionselect 2,' 第二行第一列值 ','第二列值' from dual unionselect 3,' 第三行第一列值 ','第二...
- 2023-06-15 05:59DolphinDB智臾科技的博客 综上所述,业界在地震波形数据异常检测场景中,通常是先使用 FilterPicker 进行一级异常检测,若有异常点,则进一步使用深度学习的方法进行更加精确的检测。 2. 波形数据异常检测相关算法介绍 2.1 模板匹配算法 ...
- 2020-02-08 13:33威少SOS的博客 楼主也是编码了好几年了,常常有些问题看起来很简单,但细品之下却也说不出个所以然,特作此篇文章进行阐述 题目总纲: 1、什么是编码(Code)? 2、硬件和软件的区别是什么? 3、计算机的三大基本特征? 4、...
- 没有解决我的问题, 去提问
联系我们(工作时间:8:30-22:00)
400-660-0108kefu@csdn.net在线客服
- 京ICP备19004658号
- 经营性网站备案信息
公安备案号11010502030143
- 营业执照
- 北京互联网违法和不良信息举报中心
- 家长监护
- 中国互联网举报中心
- 网络110报警服务
- Chrome商店下载
- 账号管理规范
- 版权与免责声明
- 版权申诉
- 出版物许可证
- ©1999-2025北京创新乐知网络技术有限公司