循环分页查询一天的数据，每页1000条，1000个ID拼成串并设置为变量，供后边查询使用，kettle版本7.1，尝试过调大内存，还是不行。也会触发gc，但是经历新生代后进入老年代，直到撑爆堆内存，jdk版本1.8
3条回答
- 2021-11-25 20:49回答 1 已采纳 内存溢出的种类有很多。有可能是大循环导致的。因为在大循环里产生的对象不一定会及时被清理。建议使用gc优化代码。
- 2018-11-21 11:00回答 1 已采纳 https://blog.csdn.net/benbenniaono1/article/details/82222998
- 2022-01-05 11:13回答 1 已采纳 找不到xml配置的job，检查一下参数是否准确。
- 2022-08-10 01:45海是鹏印出的影的博客 objectTimeout=1440 默认一天，即将执行完成的Job对象保留一天时间，可以在kettle.properties中自定义该属性的值，这边改的是5分钟，即任务执行完成后5分钟就会被扫描成过期的对象，让它尽量在年轻代就被回收掉。...
- 2018-11-28 18:50回答 4 已采纳 已经解决了。采用多个transfer转换即可解决
- 2021-09-22 14:06回答 2 已采纳 这是mysql转换成mysql吗？
- 2018-11-03 09:16回答 2 已采纳 虽然知道已经是很久之前的问题了，但是还是忍不住来回答一下 kettle有专门的节点处理这种情况 叫Row denormaliser
- 2019-02-26 21:03qq_15274099的博客 java调用 kettle 长时间运行时候，随着时间的增长，占用内存一直上升，GC无法回收的内存越来越高，导致内存溢出。 请查看你的kettle-core.jar 的版本，如果是4.2一下的，请升级到4.4即可 网上找这个...
- 2022-06-17 01:19回答 2 已采纳 有可能jdk版本过高，尝试换jdk8版本试试。另外，jdk安装路径最好别有空格
- 2020-10-26 09:56回答 2 已采纳 通过获取变量的方式实现，首先获取code字段是空的行数，作为一个变量，然后加一个条件判断的组件，如果这个变量大于1，就直接成功。否则就跑trans。 不知道为什么mac系统上传图片点击无效。我只能打
- 2022-10-03 13:52回答 1 已采纳 把光标挪到最后一个输入框（Oozie的URL）中，使用Tab来挪光标，然后回车试试。
- 2020-07-24 16:06rpf_siwash的博客 背景 有数据库A，目标服务器B。现需要将数据库A中的所有表通过一定的转换脚本，以访问目标服务器...如何避免kettle由于数据量过大产生内存溢出。如：一个表有十万条数据，默认查询会将所有的数据查询到内存中。因此需要
- 2022-04-19 15:53回答 1 已采纳 是不是版本的问题呢
- 2020-01-03 11:23攻城狮Kevin的博客 kettle的内存溢出，如下图，一般是三个原因： 第一，某个job（例如图中的job_smart_etl_launcher_daily_start这个job，执行并行任务）中放置的job太多，三条并行线；这种需要将多个子job放置到另一个job中，start...
- 2021-02-01 07:33《第一财经》YiMagazine的博客 在使用ETL工具kettle做数据导入的时候，如果数据量比较大，如果不使用分页导入数据，因为一次性加载数据量太大，会导致内存溢出错误，所以使用适当的分页，可以避免此错误的出现。实现的思路是，先把分页的初始条件...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 训练的多模态特征融合模型准确度很低怎么办
- ¥15 kylin启动报错log4j类冲突
- ¥15 超声波模块测距控制点灯，灯的闪烁很不稳定，经过调试发现测的距离偏大
- ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序
- ¥15 onvif+openssl，vs2022编译openssl64
- ¥15 iOS 自定义输入法-第三方输入法
- ¥15 很想要一个很好的答案或提示
- ¥15 扫描项目中发现AndroidOS.Agent、Android/SmsThief.LI!tr
- ¥15 怀疑手机被监控，请问怎么解决和防止
- ¥15 Qt下使用tcp获取数据的详细操作