2 hehanghang hehanghang 于 2016.04.26 08:35 提问

100万条数据存入mongo,通过java代码实现,要求时间在5秒之内,或者越快越好

通过java代码将oracle中的100万条数据查询出来,然后直接插入mongo数据库中,要求时间越短越好。我从oracle中将100万条数据查询出来花费了3秒左右。希望存入mongo的时间在5秒以内。请问各位大神有没有好的办法,谢谢。

2个回答

devmiao
devmiao   Ds   Rxr 2016.04.26 08:47

你可以买一个性能好一些的电脑,这样会比较快的。

YangYiFu_CSDN
YangYiFu_CSDN   2016.04.28 09:14

你把oracle查询到的数据分下类,优化时间在2秒内,存到Mongo可能会快点,最近公司也是遇到把Mongo数据迁移到oracle(因为Mongo数据原先没有分类,查询4亿左右数据在20分钟左右)

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
3分钟左右的时间如何向MySQL数据库中插入100万条数据
一、编写测试案例向MySQL数据库中插入百万条数据。测试数据表建表脚本如下: use db_xk; drop table if exists tb_test2; create table tb_test2 (         id int primary key auto_increment,         subject varchar(50) not
插入大量数据至MongoDB数据库的速度问题分析
插入大量数据至MongoDB数据库的速度问题分析 需求背景:某定时任务产生千条或更多JSON数据,本次数据还未完全写入数据库中,下一次定时任务的数据已经产生,由此而产生的数据拥堵怎么解决? 最初使用SpringBoot对MongoDB数据库做数据插入操作时,使用的是MongoTemplate中的save方法完成数据存储操作。 具体代码实现如下: JS
4秒100万条数据导入SQL数据库
实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。   本实验中所用到工具为VS2008和SQL SERVER 2000、SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码
mongodb批量插入插入数据
@Test public void test200() throws Exception{ MongoControl mongo = new MongoControl("smg", "t_schedule"); List list = new ArrayList(); for(int i = 10000001; i <= 100000000; i++) { DBObject
mongoDB批量插入数据性能分析、索引效率
环境: 一台华硕笔记本
测试大数据(快速排序)100万条数据
该类生成了100万条数据。!!每条数据数据都是转型完成的10位的长整型并且该类还用到了了快速排序import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; public class TestWrite { public sta
mongodb对于时间的存储问题
mongodb 如果是时间类型的数据入库,将会有以下操作。同时,在数据读取的时间仍然需要对其进行转换操作。除了知道时间是时间类型作统一,貌似没有其他方便之处。 &nbsp;&nbsp;&nbsp;&nbsp;date = new Date();//入库时间 var localTime = date.getTime(); var localOffset=date.ge
如何给1000万条记录排序,每条记录都是7位的整数
1. 问题描述 输入: 一个最多包含n个不重复的正整数的文件,其中每个数都小于n,每个数是一个7位的整数, n=10^7。 条件: 最多有1MB的内存可用, 排序最多只允许执行几分钟,10s是比较理想的运行时间.有充足的磁盘存储空间可用. 输出: 按升序排列的输入整数的列表. 2. 解决方案 2.1 归并排序 由于内存的限制, 只能采用多路归并的方法来解决这个问题. 排序方法; 把这
MongoDB入库、更新、查询效率简单测试
单mongod测试(即只有一个mongod程序实例)   所有测试机均为4g内存双核cpu(64位系统) 测试所用文档为简单的三个字段的文档: DBObject doc = newBasicDBObject();                                   doc.put("test","test"+insertNum);
mysql数据库100万条数据插入采用jdbc的各种方式效率对比。
最近要插入100万左右的数据,还包括计算过程,为了压缩请求时间,特意试了下几种常见的jdbc方式的效率。package test.jbdc; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; import org.junit.Test; /** * 大数...