forrestGTJU 2017-11-14 08:57 采纳率: 0%
浏览 6748

spring-data-mongodb 如何快速向mongodb快速插入千万条记录?

for(int i= 0 i<10000000;++i) //1千万次循环
{
Company company = new company();
c.setName("name"+i);
c.setAddress("address"+i);
companyList.add(c):
if(i!=0 && i%10000==0)//每1万次批量插入一次
{
mongoTemplate.inserAll(companyList); //controller层调用dao层的mongoTemplate的insertAll方法
}
}
程序跑完耗时556s ,9分多钟。
开发中第一次遇到这么大量的测试,大神有快速导入的方法吗?求告知,求分享

  • 写回答

1条回答 默认 最新

  • oyljerry 2017-11-14 09:03
    关注

    你已经用了批处理方式了,这么大数据量,估计没有特别好的办法
    但是看看mongodb是不是可以通过分片等集群方式,然后把数据根据分片规则插入不同的节点,来提升性能

    评论

报告相同问题?

悬赏问题

  • ¥15 LiBeAs的带隙等于0.997eV,计算阴离子的N和P
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 来真人,不要ai!matlab有关常微分方程的问题求解决,
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字?
  • ¥100 求三轴之间相互配合画圆以及直线的算法