1.想把814G的json文件导入mongoDB中,抽取想要数据的三元组。(814G的json文件来自与wikidata中的数据)
2.或者怎么用json数据解析法抽取其中的三元组。
(问题难点都是数据太大内存不够,需要分批处理,怎么分批814Gjson文件)
814G的json文件怎么分批导入mongodb中
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- 神隐的小蝴蝶 2019-12-03 15:23关注
给出你的JSON示例看看? wikidata的查询好像用的是SPARQL吧?
一般情况数据量过大的时候,根据你的数据格式和计算类型一般可以有两种方法 1. 搭建类似hadoop集群来做分布式处理。 2. 先对任务进行拆分, 比如类似流式计算的一次处理一条数据
解决 无用评论 打赏 举报
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位,为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器