现在我有一个JOB，用于同步一个表的数据，在执行插入和更新的时候出现了同步数据，
大神们求帮助，转换与JOB设置如下
我用来查询的关键字是advinceid,exec_date,executer这三个字段，为什么写入的数据有重复的呢？数据表中id字段是 自增长
kettle在执行插入更新时写入了重复数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-02-21 14:51回答 1 已采纳 记录数量批处理的原理是使用了insert后面多个values的语句，实际是一条SQL提交，so 一个values出错所有都会回滚
- 2018-06-20 07:47回答 5 已采纳 写java代码吧， 选择java代码选项，做分表插入操作 1.直接用java代码处理 2.使用sql语句的视图做处理
- 2018-01-24 09:56回答 8 已采纳 先查看mysql数据库存入的是什么格式。 1.点击作业DB连接， 2.在弹出的Database Connection中选择Options选项，在Parameters下填入参数“characterE
- 2021-01-12 00:21Y.HL的博客 etl 增量数据方式，一般有2种，一是取当前表中时间字段的最大，或者直接取上一次增量后产生的sysdate，二是用触发器等工具把变化的数据捕获，然后进行插入更新。本案例使用数据库表上次增量产生的sysdate的方式进行...
- 2018-11-13 12:48回答 2 已采纳 像Kattle这种用可视化的方式来进行配置以达到数据处理的目的，基本上是需要有明确的字段列表的， 而你想要做的是一个相对通用的过程，现有的控件基本上是无法达到要求的 你的第三种思路用java代码来
- 2018-11-03 09:16回答 2 已采纳 虽然知道已经是很久之前的问题了，但是还是忍不住来回答一下 kettle有专门的节点处理这种情况 叫Row denormaliser
- 2021-11-25 20:49回答 1 已采纳 内存溢出的种类有很多。有可能是大循环导致的。因为在大循环里产生的对象不一定会及时被清理。建议使用gc优化代码。
- 2020-12-19 06:35weixin_39909366的博客 在使用Kettle进行数据同步的时候， 共有1.使用时间戳进行数据增量更新2.使用数据库日志进行数据增量更新3.使用触发器+快照表 进行数据增量更新今天要介绍的是第3中方法。实验的思路是这样的，在进行数据同步的时候，...
- 2018-11-26 05:31回答 3 已采纳 已经解决了，设置环境变量即可解决
- 2021-06-25 10:26回答 5 已采纳 编码改成自动那,我也没遇见过这种情况啊
- 2023-01-05 10:17回答 1 已采纳 使用Kettle进行表合并需要使用到"合并记录"步骤。 首先，你需要将两个表作为数据源连接到Kettle中。然后，拖拽一个"合并记录"步骤到流程设计器中。将两个表作为输入连接到"合并记录"步骤。 接下
- 2019-08-07 01:044. **预处理数据**: 在写入数据库之前，对数据进行预处理，如删除重复值、转换格式等，可以减少数据库处理的复杂性，提高速度。 5. **数据库配置调整**: 调整MySQL的配置参数，如缓冲池大小、事务大小、连接池设置...
- 2023-03-17 15:48回答 4 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵKettle（Pentaho Data Integration）是一个强大的ETL工具，用于抽取、转换和加载数据。在Kettle中，一个转换（Transformation）
- 2021-01-08 13:48在数据处理领域，Kettle（Pentaho Data Integration，PDI）是一款强大的ETL（Extract, Transform, Load）工具，它允许用户从多种数据源提取数据，并进行转换和加载到目标系统。本话题主要探讨如何在Kettle中实现循环...
- 2020-12-28 15:13陌念念的博客 「分享数据大咖实践经验 网罗职场大佬成长秘籍...通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。2)、基...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 mrk3399刷完安卓11后投屏调试只能显示一个设备
- ¥20 白日门传奇少一个启动区服和启动服务器的快捷键，东西都是全的 ， 他们说套一个出来就行了 但我就是弄不好，谁看看，
- ¥100 如何用js写一个游戏云存档
- ¥15 ansys fluent计算闪退
- ¥15 有关wireshark抓包的问题
- ¥15 需要写计算过程，不要写代码，求解答，数据都在图上
- ¥15 向数据表用newid方式插入GUID问题
- ¥15 multisim电路设计
- ¥20 用keil，写代码解决两个问题，用库函数
- ¥50 ID中开关量采样信号通道、以及程序流程的设计