forrestGTJU 2017-11-14 08:57 采纳率: 0%
浏览 6749

spring-data-mongodb 如何快速向mongodb快速插入千万条记录?

for(int i= 0 i<10000000;++i) //1千万次循环
{
Company company = new company();
c.setName("name"+i);
c.setAddress("address"+i);
companyList.add(c):
if(i!=0 && i%10000==0)//每1万次批量插入一次
{
mongoTemplate.inserAll(companyList); //controller层调用dao层的mongoTemplate的insertAll方法
}
}
程序跑完耗时556s ,9分多钟。
开发中第一次遇到这么大量的测试,大神有快速导入的方法吗?求告知,求分享

  • 写回答

1条回答

  • oyljerry 2017-11-14 09:03
    关注

    你已经用了批处理方式了,这么大数据量,估计没有特别好的办法
    但是看看mongodb是不是可以通过分片等集群方式,然后把数据根据分片规则插入不同的节点,来提升性能

    评论

报告相同问题?

悬赏问题

  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作