场景：数据同步任务，第一次全同步数据，需要跑个一两天才能同步完，每张表150-200个字段
问题：跑一天后 ，出现下图这个OOM异常，运维把hprof的堆栈文 件给了我，发现基本上都是mybatis的参数转换异常，大胆怀疑是不是插入的时候，解析转换对象，mybaits这边产生了大量的映射对象，暂时没有找到解决思路，求解各位大佬
编码实现流程：拉取A库的数据，然后分批插入到mysql，循环内部最多一次性插入400条，千万级别的数据量表
1条回答 默认 最新
张小帅和刘美美 2021-04-16 18:47关注让运维捞一下 fullgc的日志 看看发生了多少次
解决思路：看下代码是否有不正确的地方
服务器机器升级同步任务分段跑。每段间隔一段时间
解决 无用评论 打赏举报
分享
- 2022-04-24 18:32回答 11 已采纳 如果你是springboot项目，像你说的那个批量处理数据什么的，你就用他自带的多线程方法ThreadPoolTaskExecutor，去处理，最后.join的方式加入到主线程，你只需要处理数据网数据
- 2014-11-22 15:58回答 2 已采纳 建议你用序列来实现，可以生成一个序列，然后根据你的需要，如需要１００个，然后重置序列即可。 sys_guid，你这样试试，找个超过１００行记录的表(比如operator)，然后用这个sql
- 2023-01-25 19:53回答 2 已采纳 将mappers里面的两行删除，换成我这个，其中的name值就是你的mapper所在的包名，这样就不需要多次配置 <mappers> <!--Mapper代理方式-
- 2023-03-07 19:05请把小熊还给我&的博客 使用mybatis的ScriptRunner批量插入大量sql防止OOM
- 2015-08-29 09:46回答 3 已采纳 该功能无法实现，只能分步骤来，先插入在查询
- 2022-02-14 14:13回答 4 已采纳 java.lang.IllegalStateException: Failed to load ApplicationContext 现在是这个问题
- 2023-04-02 02:35回答 2 已采纳 这个问题的回答你可以参考下: https://ask.csdn.net/questions/648398你也可以参考下这篇文章：mybatis执行多条带分号的sql语句报错除此之外, 这篇博客: My
- 2022-04-17 11:11小黑屋说YYDS的博客 批量插入这个问题，我们用 JDBC 操作，其实就是两种思路吧： 用一个 for 循环，把数据一条一条的插入（这种需要开启批处理）。 生成一条插入 sql，类似这种 insert into user(username,address) values(‘aa’,‘bb...
- 2022-11-20 00:24回答 2 已采纳 因为，你开启 session 时设置了 不自动提交 openSession(..............,false) 最后又没有提交 sqlSession.commit(); 所以事务回滚了
- 2021-04-07 14:47回答 3 已采纳 您好，我是有问必答小助手，你的问题已经有小伙伴为您解答了问题，您看下是否解决了您的问题，可以追评进行沟通哦~ 如果有您比较满意的答案 / 帮您提供解决思路的答案，可以点击【采纳】按钮，给回答的小伙伴
- 2022-09-22 23:19回答 1 已采纳 报错的具体信息贴出来
- 2022-09-05 23:51叶秋学长的博客 本文我们介绍了 MyBatis 批量插入的 3 种方法，其中循环单次插入的性能最低，也...最后学长相信大家一定学费了MyBatis批量插入的3种方法和10w条数据仅需2秒的方法，关注学长不迷路，下期带领大家学习更多的实用技巧哦~~
- 2021-03-17 17:41回答 1 已采纳 getSession() 方法和 SqlSessionUtils.openSession() 得到是同一个SqlSession吗? 如果你getSession()返回了一个新的SqlSession
- 2022-12-02 18:32_晓夏_的博客 今天我们来说说工作中遇到的一个真实案例，由于使用mybatis的批量插入功能，导致系统内存溢出OOM（Out Of Memory）， "java.lang.OutOfMemoryError: Java heap space"的报错，导致服务出现短暂的服务不可用，大概一...
- 2023-07-20 17:15小咸鱼的技术窝的博客 正所谓前人，栽树后人乘凉。...oom一下子就出现了。创建一个异步任务并执行返回值为1return 1;});阻塞主线程，等待 task1、task2 都执行完毕获取 task1 任务的返回值，task1 未执行完成前主线程将一直阻塞。
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 ogg dd trandata 报错
- ¥15 高缺失率数据如何选择填充方式
- ¥50 potsgresql15备份问题
- ¥15 Mac系统vs code使用phpstudy如何配置debug来调试php
- ¥15 目前主流的音乐软件，像网易云音乐，QQ音乐他们的前端和后台部分是用的什么技术实现的?求解！
- ¥60 pb数据库修改与连接
- ¥15 spss统计中二分类变量和有序变量的相关性分析可以用kendall相关分析吗？
- ¥15 拟通过pc下指令到安卓系统，如果追求响应速度，尽可能无延迟，是不是用安卓模拟器会优于实体的安卓手机？如果是，可以快多少毫秒？
- ¥20 神经网络Sequential name=sequential, built=False
- ¥16 Qphython 用xlrd读取excel报错