officercat 2016-01-08 13:34 采纳率: 0%
浏览 1692
已结题

mongodb如何快速离线加载数据?怎么模仿mongodump后的数据格式?

我有几亿条数据需要写入mongodb,只需要定时一次性写入。
如果用mongo客户端的insert来写,时间都是按小时计的,可能得20多个小时甚至更久
我现在向缩短到分钟级别,因为数据我可以先离线做处理,只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点,master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式,上传到mongodb 的master服务器上,用mongoresttore命令加载。
不过mongodump导出的文件格式很乱,肉眼可能没法保证理清其正确规则,所以就问文各位大神有经验么?

网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已,里面我看了还是用mongo C++ api一条一条的insert进mongo的。

各位大神们还有其他好方法么?

  • 写回答

1条回答 默认 最新

  • oyljerry 2016-01-08 14:58
    关注

    mongodump的文件格式是bson格式存放的数据 你自己实现也不是很容易 可以再单独搞台机器先把数据一个个倒入 然后再mongodump导出到master机器来mongoimport

    评论

报告相同问题?

悬赏问题

  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写,需写出详细代码,代价私
  • ¥15 ROS系统搭建请教(跨境电商用途)
  • ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。