我有几亿条数据需要写入mongodb,只需要定时一次性写入。
如果用mongo客户端的insert来写,时间都是按小时计的,可能得20多个小时甚至更久
我现在向缩短到分钟级别,因为数据我可以先离线做处理,只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点,master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式,上传到mongodb 的master服务器上,用mongoresttore命令加载。
不过mongodump导出的文件格式很乱,肉眼可能没法保证理清其正确规则,所以就问文各位大神有经验么?
网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已,里面我看了还是用mongo C++ api一条一条的insert进mongo的。
各位大神们还有其他好方法么?