1.想把814G的json文件导入mongoDB中，抽取想要数据的三元组。（814G的json文件来自与wikidata中的数据）
2.或者怎么用json数据解析法抽取其中的三元组。
（问题难点都是数据太大内存不够，需要分批处理，怎么分批814Gjson文件）
814G的json文件怎么分批导入mongodb中
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
神隐的小蝴蝶 2019-12-03 15:23关注给出你的JSON示例看看？ wikidata的查询好像用的是SPARQL吧？
一般情况数据量过大的时候，根据你的数据格式和计算类型一般可以有两种方法 1. 搭建类似hadoop集群来做分布式处理。 2. 先对任务进行拆分， 比如类似流式计算的一次处理一条数据
解决 无用评论 打赏举报 分享
- 2018-09-24 10:52回答 2 已采纳 var http = require("http"), url = require("url"), mongo = require('mongodb'), path =
- 2019-09-24 08:04回答 1 已采纳 You have to use bson tags when marshalling from / to MongoDB. json tags are for the encoding/json
- 2016-09-07 07:49回答 1 已采纳 you can do something like this majorCat := body["categorySlug"] category := body["categor
- 2021-01-12 06:19weixin_39607935的博客 摘要：智能给社会治理、隐私保护、伦理道德等带来新的影响，具有全面渗透性。目前，在边界清晰、规则明确、任务规范的...比起人工智能完全取代人的方式，工厂不必担心人工智能做出错误的决定延误生产，也不用考虑人...
- 2018-05-08 09:37回答 1 已采纳 Inserting multiple documents is the same as inserting a single one because the Collection.Insert()
- 2017-12-23 16:20回答 1 已采纳 I suppose it's already a duplicate, but accessing fields with non-regular names usually done as:
- 2018-12-11 21:05回答 2 已采纳 The mgo/bson package is used to encode and decode all database commands and results, even when the
- 2023-10-06 00:57禅与计算机程序设计艺术的博客 在过去的一百年里，它一直是指海量、高速、多样的数据集合。而如今，随着互联网、移动互联网、物联网等新型应用的兴起，越来越多的企业、个人和组织都将自己的数据上传到云端，通过大数据技术分析、挖掘等手段获取...
- 2015-02-23 10:37回答 2 已采纳 If I get you right you have one record in "clOfferMaster" collection and you're trying to fetch da
- 2022-08-05 21:31回答 2 已采纳 已解决，根本不是用户权限问题，换用mac或者linux操作系统，相同命令。如果没其它操作系统去官网下载MongDB Compass，GUI工具。
- 2015-12-24 06:07回答 2 已采纳 Unmarshal the JSON to []interface{} and insert the result in the database. Assuming that c is an m
- 2022-06-28 11:13多比熊的博客 mongodb的分片解决了这个问题，相比较副本集，一个副本存储了所有数据库，但分片等于一个副本的数据分别存储到数十个，数百个分片中。查询的时候，同时从这些分片中进行查询，将查询的性能又提高了一个档次 用户的...
- 2012-12-25 09:15回答 1 已采纳 You can remove it with this: db.test.update( { _id:74924 }, { $unset: {"bangs.436":1} } ) // I t
- 2023-07-03 13:37不吃西红柿丶的博客 数据资产也好、报表也好，可以直接导入去支撑业务。这么双向来回，数据与应用就是一体的。
- 2022-04-12 18:19曲调响起琴声悠扬的博客 初识Node.js 回顾 浏览器中的JavaScript -JS核心语法 -WebAPI 为什么JavaScript在浏览器中会被执行：JavaScript解析引擎 不同浏览器使用不同的解析引擎：Chrome =>...为什么JavaScript可以...Node.js是一个基...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 谁有desed数据集呀
- ¥20 手写数字识别运行c仿真时，程序报错错误代码sim211-100
- ¥15 关于#hadoop#的问题
- ¥15 (标签-Python|关键词-socket)
- ¥15 keil里为什么main.c定义的函数在it.c调用不了
- ¥50 切换TabTip键盘的输入法
- ¥15 可否在不同线程中调用封装数据库操作的类
- ¥15 微带串馈天线阵列每个阵元宽度计算
- ¥15 keil的map文件中Image component sizes各项意思
- ¥20 求个正点原子stm32f407开发版的贪吃蛇游戏