forrestGTJU 2017-11-14 08:57 采纳率: 0%
浏览 6752

spring-data-mongodb 如何快速向mongodb快速插入千万条记录?

for(int i= 0 i<10000000;++i) //1千万次循环
{
Company company = new company();
c.setName("name"+i);
c.setAddress("address"+i);
companyList.add(c):
if(i!=0 && i%10000==0)//每1万次批量插入一次
{
mongoTemplate.inserAll(companyList); //controller层调用dao层的mongoTemplate的insertAll方法
}
}
程序跑完耗时556s ,9分多钟。
开发中第一次遇到这么大量的测试,大神有快速导入的方法吗?求告知,求分享

  • 写回答

1条回答 默认 最新

  • oyljerry 2017-11-14 09:03
    关注

    你已经用了批处理方式了,这么大数据量,估计没有特别好的办法
    但是看看mongodb是不是可以通过分片等集群方式,然后把数据根据分片规则插入不同的节点,来提升性能

    评论

报告相同问题?

悬赏问题

  • ¥15 用visualstudio2022创建vue项目后无法启动
  • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
  • ¥500 把面具戴到人脸上,请大家贡献智慧
  • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。
  • ¥15 各位 帮我看看如何写代码,打出来的图形要和如下图呈现的一样,急
  • ¥30 c#打开word开启修订并实时显示批注
  • ¥15 如何解决ldsc的这条报错/index error
  • ¥15 VS2022+WDK驱动开发环境
  • ¥30 关于#java#的问题,请各位专家解答!
  • ¥30 vue+element根据数据循环生成多个table,如何实现最后一列 平均分合并