数据库都是oracle，刷新储存过程，会把源表增删改的数据存到中间表中，flag字段记录增删改状态，修改我们是先删除后添加，再用kettle迁移时，修改有时会先走插入/更新组件，在走删除，这条数据就删除了（如图），表输入时已经由自增id排序，应该怎样解决
kettle 增量数据迁移问题（求大神解决）
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2018-11-26 05:31回答 3 已采纳 已经解决了，设置环境变量即可解决
- 2023-03-17 15:48回答 4 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵKettle（Pentaho Data Integration）是一个强大的ETL工具，用于抽取、转换和加载数据。在Kettle中，一个转换（Transformation）
- 2022-02-21 14:51回答 1 已采纳 记录数量批处理的原理是使用了insert后面多个values的语句，实际是一条SQL提交，so 一个values出错所有都会回滚
- 2019-04-24 09:43beststone1的博客 1.转自：https://blog.csdn.net/fangdengfu123/article/details/69229377 2.kettle——（3）全量抽取和增量抽取:... 3.kettle增量抽取框架:https://blog.csdn.net/a27583...
- 2023-03-17 16:57回答 3 已采纳 参考GPT和自己的思路： 您好，针对您关于#Kettle#的问题，可以使用Kettle中的"Merge Join"步骤来实现数据校验并输出到新的表里。具体操作步骤如下： 将要校验的excel文件使用"
- 2018-11-03 09:16回答 2 已采纳 虽然知道已经是很久之前的问题了，但是还是忍不住来回答一下 kettle有专门的节点处理这种情况 叫Row denormaliser
- 2023-02-27 22:28回答 3 已采纳 查询时出现了异常，类型转换错误。日志中有没有自定义的代码，看看提示的代码处。
- 2021-01-09 01:11试剑江湖。的博客 Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。 Kettle 中文网 :https://www.kettle.net.cn/ Kettle Web 在线体验平台：...
- 2018-06-20 07:47回答 5 已采纳 写java代码吧， 选择java代码选项，做分表插入操作 1.直接用java代码处理 2.使用sql语句的视图做处理
- 2022-12-07 10:45回答 2 已采纳 如果只是表名不一样的话，可以使用navicat的数据传输功能，虽然会重新建表，但最后批量改一下表名即可
- 2018-01-25 09:39回答 4 已采纳 问题很明显啊 ，table'mysql.demo'doesn't exist ;demo这个表在mysql不存在啊，新建一个就可以了
- 2019-12-15 01:09雨落纷飞の街的博客 这个人写的非常的好，本人转载，但是在表查询的时候，发现oracle与mysql查询的时候由于排序的规则不同，导致数据大量的被标记为新增，所以在增量的时候出现麻烦，这是对比的结果，第一个按照name排序的，第二个按照...
- 2021-01-19 03:52weixin_39854951的博客 从oracle 数据库迁移到mysql数据库，其实方法还是很多的，根据自己的需求来选择：1、SQL LOAD最简单的数据迁移方式。第一步把Oracle的数据导成CSV或者SQL，然后再load或者source到MySQL中就可以了。2、Python第一步...
- 2018-03-01 17:08大锅霍皮久的博客 A:我很奇怪的是 我建表的时候是正常的，通过mysql迁移数据至gp的时候，有三张表 他的数据都是百万级的就报错了，报错是我发的一图，但是我之前有单独的订单表 数据也是百万级的就可以正常同步和增量同步。...
- 2018-07-24 08:16时间_实践的博客 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors...
- 没有解决我的问题, 去提问
