现在我有一个JOB，用于同步一个表的数据，在执行插入和更新的时候出现了同步数据，
大神们求帮助，转换与JOB设置如下
我用来查询的关键字是advinceid,exec_date,executer这三个字段，为什么写入的数据有重复的呢？数据表中id字段是 自增长
kettle在执行插入更新时写入了重复数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2022-02-21 14:51回答 1 已采纳 记录数量批处理的原理是使用了insert后面多个values的语句，实际是一条SQL提交，so 一个values出错所有都会回滚
- 2018-06-20 07:47回答 5 已采纳 写java代码吧， 选择java代码选项，做分表插入操作 1.直接用java代码处理 2.使用sql语句的视图做处理
- 2018-11-13 12:48回答 2 已采纳 像Kattle这种用可视化的方式来进行配置以达到数据处理的目的，基本上是需要有明确的字段列表的， 而你想要做的是一个相对通用的过程，现有的控件基本上是无法达到要求的 你的第三种思路用java代码来
- 2021-01-12 00:21Y.HL的博客 etl 增量数据方式，一般有2种，一是取当前表中时间字段的最大，或者直接取上一次增量后产生的sysdate，二是用触发器等工具把变化的数据捕获，然后进行插入更新。本案例使用数据库表上次增量产生的sysdate的方式进行...
- 2018-11-03 09:16回答 2 已采纳 虽然知道已经是很久之前的问题了，但是还是忍不住来回答一下 kettle有专门的节点处理这种情况 叫Row denormaliser
- 2018-11-26 05:31回答 3 已采纳 已经解决了，设置环境变量即可解决
- 2021-06-25 10:26回答 5 已采纳 编码改成自动那,我也没遇见过这种情况啊
- 2020-12-19 06:35weixin_39909366的博客 在使用Kettle进行数据同步的时候， 共有1.使用时间戳进行数据增量更新2.使用数据库日志进行数据增量更新3.使用触发器+快照表 进行数据增量更新今天要介绍的是第3中方法。实验的思路是这样的，在进行数据同步的时候，...
- 2018-01-24 09:56回答 8 已采纳 先查看mysql数据库存入的是什么格式。 1.点击作业DB连接， 2.在弹出的Database Connection中选择Options选项，在Parameters下填入参数“characterE
- 2021-11-25 20:49回答 1 已采纳 内存溢出的种类有很多。有可能是大循环导致的。因为在大循环里产生的对象不一定会及时被清理。建议使用gc优化代码。
- 2021-08-16 10:06回答 1 已采纳 没事了。。。表没有相同关键词匹配连接不了
- 2018-08-23 11:45骨头儿的博客 1、项目，根据时间戳增量更新数据。 2、根据fid、linkage_id字段 判断是否更新或者插入 3、请问以上有什么问题吗？为什么执行中 会出现重复的数据？如果有大神知道的 请指点一下...
- 2020-10-26 09:56回答 2 已采纳 通过获取变量的方式实现，首先获取code字段是空的行数，作为一个变量，然后加一个条件判断的组件，如果这个变量大于1，就直接成功。否则就跑trans。 不知道为什么mac系统上传图片点击无效。我只能打
- 2020-12-21 19:16weixin_39542742的博客 最近发现KETTLE抽数越来越慢，特别是增量INSERT/UPDATE的时候，速度已经达到了令人发指的地步(从一个400W数据规模的表中每天增量量抽取30W数据的TRASFORMATION 竟然要20个小时！！！！读取速率是5条/s......)，这个...
- 2020-08-05 10:14qiaoqiaoli11的博客 背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候...
- 没有解决我的问题, 去提问
悬赏问题
- ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
- ¥20 腾讯企业邮箱邮件可以恢复么
- ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？
- ¥15 错误 LNK2001 无法解析的外部符号
- ¥50 安装pyaudiokits失败
- ¥15 计组这些题应该咋做呀
- ¥60 更换迈创SOL6M4AE卡的时候，驱动要重新装才能使用，怎么解决？
- ¥15 让node服务器有自动加载文件的功能
- ¥15 jmeter脚本回放有的是对的有的是错的
- ¥15 r语言蛋白组学相关问题