怎样将服务器里面结构化数据批量落入数据库中？

现有一份.txt文件格式的文件，里面是json数组格式的数据，这数据将近百万条，我需要将数据解析出来放到数据库中。现如果是将数据全部读出来解析成List，内存过大，落表的时间过长，不现实！菜鸟请求个解决方案
图片说明

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
爱码少年 00fly.online 2018-11-12 07:34
关注
用springbatch 去搞！

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

怎样将服务器里面结构化数据批量落入数据库中？数据库
2018-11-12 07:20

回答 2 已采纳用springbatch 去搞！
如何利用centos搭建一个数据库服务器？ centos 数据库有问必答服务器
2022-01-13 19:24

回答 4 已采纳推荐你参考我的文章 Linux基础学习三：VMware和CentOS的安装详细图文教程_CSDN专家-微编程的博客-CSDN博客安装步骤安
大数据运行在内存中产生的中间数据一般有多大？ linux 大数据
2018-07-09 04:20

回答 5 已采纳运行内存是可以设置的，以运行一个spark作业为例，提交作业时可以执行本次作业所需要的总共cpu核心数和总共的内存数，作业提交后spark 的 sparkContext 会向集群申请分配资源，集群会最
HBase大数据分布式数据库
2021-12-11 14:23

进击的-小胖子的博客利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）优点容量大单表可以有百亿行、百万列面向列数据在表中是按照某列存储的，这样在查询只需要少数几个...
如何用服务器上的PHP文件在cpanel的mysql数据库中添加数据表？ mysql php 有问必答服务器
2021-11-25 20:42

回答 2 已采纳 PHP MySQL 创建数据库和表 https://www.w3sch
怎么将数据存储在一台redis服务分布在不同的redis数据库中 redis 数据库服务器缓存
2018-01-24 02:07

回答 3 已采纳 redis 本身支持16个数据库，通过 数据库id 设置，默认为0 设置redis的dbIndex方法有2种： 1.通过构造函数设置； 2.通过set方法设置；先说第一种：在使用re
怎么安装GBase客户端来连接访问另一台服务器上的GBase数据库？数据库
2022-04-18 10:41

回答 1 已采纳选不同的安装路径安装完对不同的配置文件进行配置
大数据架构选型与设计
2022-02-16 19:19

回忆de天空的博客 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，...
如何避免插入重复的数据到SQLite数据库中? android sqlite
2013-05-07 02:54

回答 3 已采纳新建唯一索引: CREATE UNIQUE INDEX mycolumn_index ON mytable (myclumn); 第二步：调用replace into语句 (本句是存在则更
客户端如何请求数据库？ sql 数据库服务器
2022-06-24 15:30

回答 2 已采纳首先先明确一点，连接数据库必须使用数据库客户端，无论是数据库自带客户端或者JDBC或者ODBC，只要是直接连接数据库的，都是数据库的客户端。数据库里可以建不同的连接用户，然后数据库的客户端使用某个可以
tomcat 404 提示连接不上mysql数据库？？？？？求各位大神帮忙，拜托 mysql tomcat 数据库服务器
2018-12-05 08:04

回答 2 已采纳访问权限开启使用 update user set host = ’%’ where user = ’root’; 账号密码直接用navicat登陆看看是不是有问题
图数据库知识点3：图数据库解决了什么问题？
2022-12-20 16:14

XAI嬴图的博客在前面的两个知识点中我们先后介绍了：知识点1：图数据库与关系型数据库的区别知识点2：图思维方式现在我们可以更进一步来通过具体的例子来了解图数据库、图计算到底解决了什么问题。
CS程序连接Oracle数据库服务器,同步数据非常卡顿 oracle 服务器
2017-02-25 06:52

回答 1 已采纳 http://www.2cto.com/database/201409/339230.html
数据查询和业务流分开_一文带你了解大数据管道
2020-11-22 01:36

weixin_39983383的博客在本文中，我将尝试总结其成分和基本配方，以帮助您开始大数据之旅。我的目标是对不同的工具进行分类，并试图解释每个工具的目的以及它如何适应生态系统。首先，让我们回顾一些注意事项，并检查您是否确实遇到...
大数据系列——Flink理论
2023-05-09 20:18

mql007007的博客 Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala...
没有解决我的问题, 去提问

悬赏问题

¥25 关于##爬虫##的问题，如何解决?:
¥15 ZABBIX6.0L连接数据库报错，如何解决？(操作系统-centos)
¥15 找一位技术过硬的游戏pj程序员
¥15 matlab生成电测深三层曲线模型代码
¥50 随机森林与房贷信用风险模型
¥50 buildozer打包kivy app失败
¥30 在vs2022里运行python代码
¥15 不同尺寸货物如何寻找合适的包装箱型谱
¥15 求解 yolo算法问题
¥15 虚拟机打包apk出现错误