暗夜金星 2019-12-03 13:42 采纳率: 0%
浏览 533
已结题

814G的json文件怎么分批导入mongodb中

1.想把814G的json文件导入mongoDB中,抽取想要数据的三元组。(814G的json文件来自与wikidata中的数据)
2.或者怎么用json数据解析法抽取其中的三元组。
(问题难点都是数据太大内存不够,需要分批处理,怎么分批814Gjson文件)

  • 写回答

3条回答 默认 最新

  • 神隐的小蝴蝶 2019-12-03 15:23
    关注

    给出你的JSON示例看看? wikidata的查询好像用的是SPARQL吧?

    一般情况数据量过大的时候,根据你的数据格式和计算类型一般可以有两种方法 1. 搭建类似hadoop集群来做分布式处理。 2. 先对任务进行拆分, 比如类似流式计算的一次处理一条数据

    评论

报告相同问题?

悬赏问题

  • ¥15 机器学习教材中的例题询问
  • ¥15 求.net core 几款免费的pdf编辑器
  • ¥20 SQL server表计算问题
  • ¥15 C# P/Invoke的效率问题
  • ¥20 thinkphp适配人大金仓问题
  • ¥20 Oracle替换.dbf文件后无法连接,如何解决?(相关搜索:数据库|死循环)
  • ¥15 数据库数据成问号了,前台查询正常,数据库查询是?号
  • ¥15 算法使用了tf-idf,用手肘图确定k值确定不了,第四轮廓系数又太小才有0.006088746097507285,如何解决?(相关搜索:数据处理)
  • ¥15 彩灯控制电路,会的加我QQ1482956179
  • ¥200 相机拍直接转存到电脑上 立拍立穿无线局域网传