大型json数据导入postgresql数据库

将一个50多个G的单个json数据文件导入到postgresql数据库中，卡在了数据解析这一步，望求大神指点！

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Bug开发攻城狮 2016-08-22 05:23
关注
啧啧，50多个G的json文件，如果直接读这一个文件，你得多大内存的机器才能满足啊

建议还是老老实实的手动拆成几个小的数据文件，挨个读取吧

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

如何将Json数据导入Postgres表 json php postgresql
2018-06-28 03:00

回答 2 已采纳 you can use jsonb type and just select data from json, like here: db=# create table t_leave_holid
postgresql数据库查询 postgresql 有问必答
2021-12-08 10:18

回答 1 已采纳报错信息是什么？
postgresql 数据库报错 postgresql
2021-01-11 16:08

回答 1 已采纳本题已解决，方法在 https://blog.csdn.net/yang_z_1/article/details/118693988?spm=1001.2014.3001.5502 ，如何有啥更好的解
C#链接PostgreSQL数据库并插入json数据
2019-03-05 20:01

cellinlab的博客项目需要，对提取的数据以json格式插入到PostgreSQL数据库 解决方法： using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System...
postgresql 数据还原出现问题 postgresql 数据库
2022-01-07 11:10

回答 1 已采纳这个问题我也遇到过，现在已经解决了。 postgresql数据库 timescaledb数据库还原数据库_yang_z_1的博客-CSDN博客
mysql数据库数据导入到postgreSQL中主键不能自增怎么办？ postgresql 有问必答
2021-06-04 13:54

回答 4 已采纳序列可以设置开始长度的 select setval('tbl_xulie_id_seq', 1);
PostgreSQL表中的JSON数据的搜索列 json laravel php postgresql
2016-04-14 08:54

回答 1 已采纳 Change where to whereRaw and query for json field Route::whereRaw("middleware->> 'auth'
PostgreSQL 常用命令总结 ||数据库导入导出
2022-12-15 11:10

泰山AI的博客如果数据库设置密码的话，会提示输入密码注意：用户名后面不要有空格登录成功界面。
用flinkcdc读取mysql数据,写入postgresql数据库,程序运行一段时间后挂了 flink
2022-11-11 14:34

回答 1 已采纳我觉得你可能日志定位错了，看逻辑应该只有去重算子有状态会造成CK超时状态过大崩溃重启，重启之后逻辑就类似你这个日志
json存数据库优化代码 java postgresql spring boot
2023-03-25 16:10

回答 2 已采纳我建议入库时每个文件（100多条数据）批量提交一次，不要每次都单独提交。
postgresql导入表 java postgresql
2023-01-16 17:02

回答 2 已采纳这个序列号不存在吧，先创建一下序列号 CREATE SEQUENCE xxxxx start with 1; xxxxx就是你这个名字
获取本地的json文件解析存入数据库中
2023-03-24 16:13

未来可以改变#@！的博客工作时有这个需求存一下，给了我json文件让我存进数据库中例如：这个是json中的文件需要将他们存入数据库中 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</...
在Golang中将数组插入Postgresql数据库 postgresql
2014-11-03 03:55

回答 2 已采纳 Implement database/sql/driver.Valuer with a custom type: type int64array []int64 func (a int64ar
psql导入文件_如何将JSON文件导入PostgreSQL？
2021-03-04 09:01

高顿CFA的博客小编典典您可以将JSON输入到SQL语句中，以提取信息并将其插入表中。如果JSON属性的名称与表列的名称完全相同，则可以执行以下操作：with customer_json (doc) as (values('[{"id": 23635,"name": "Jerry Green",...
csv 格式与导入postgresql
2023-03-07 14:18

weixin_42754054的博客 csv格式与导入数据库
没有解决我的问题, 去提问

悬赏问题

¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
¥15 乘性高斯噪声在深度学习网络中的应用
¥15 运筹学排序问题中的在线排序
¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
¥30 求一段fortran代码用IVF编译运行的结果
¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
¥15 C++ 头文件/宏冲突问题解决
¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
¥50 安卓adb backup备份子用户应用数据失败
¥20 有人能用聚类分析帮我分析一下文本内容嘛