officercat 2016-01-08 13:34 采纳率: 0%
浏览 1692
已结题

mongodb如何快速离线加载数据?怎么模仿mongodump后的数据格式?

我有几亿条数据需要写入mongodb,只需要定时一次性写入。
如果用mongo客户端的insert来写,时间都是按小时计的,可能得20多个小时甚至更久
我现在向缩短到分钟级别,因为数据我可以先离线做处理,只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点,master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式,上传到mongodb 的master服务器上,用mongoresttore命令加载。
不过mongodump导出的文件格式很乱,肉眼可能没法保证理清其正确规则,所以就问文各位大神有经验么?

网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已,里面我看了还是用mongo C++ api一条一条的insert进mongo的。

各位大神们还有其他好方法么?

  • 写回答

1条回答 默认 最新

  • oyljerry 2016-01-08 14:58
    关注

    mongodump的文件格式是bson格式存放的数据 你自己实现也不是很容易 可以再单独搞台机器先把数据一个个倒入 然后再mongodump导出到master机器来mongoimport

    评论

报告相同问题?

悬赏问题

  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
  • ¥15 让node服务器有自动加载文件的功能
  • ¥15 jmeter脚本回放有的是对的有的是错的
  • ¥15 r语言蛋白组学相关问题