最近项目要增量做一个数据更新。没有时间戳这样的字段。只能全量比对后,再进行增加、更新、删除操作。
目前遇到一个问题,我用合并记录去比对源数据和新数据,发现有些数据,没做任何修改。有的会打上identical标签,有的则会打上new标签。
有修改的数据也不会打上changed标签
这个问题是啥情况?或者不能用合并记录的组件?
望大神们指点一二,先谢过啦!
最近项目要增量做一个数据更新。没有时间戳这样的字段。只能全量比对后,再进行增加、更新、删除操作。
目前遇到一个问题,我用合并记录去比对源数据和新数据,发现有些数据,没做任何修改。有的会打上identical标签,有的则会打上new标签。
有修改的数据也不会打上changed标签
这个问题是啥情况?或者不能用合并记录的组件?
望大神们指点一二,先谢过啦!
增量更新,最好是TRIGGER+LOGRECORD的方式,有增量自动记录到日志表,kettle转换时先读日志表,根据日志记录直接去找增量部分,然后再更新日志表。