如上图所示(转换中有两个表输入,一个叫源表,一个叫目标表,他们来自两个不同的库,表名是一个变量 ,抓取数据库中所有表,所以查询都是 select * from ${TABLENAME} ,表名相同表结构相同)
如何用kettel比较源数据库中的所有表数据和目标数据库中的对应的表数据是否一致?
试过用合并记录方法,但是 合并记录需要关键字段和数据字段,而我两个表输入都是用的变量的方式,因此不知道数据字段,并且每个表的主键也不一样,关键字段也不好填写。有什么好方法可以实现
如上图所示(转换中有两个表输入,一个叫源表,一个叫目标表,他们来自两个不同的库,表名是一个变量 ,抓取数据库中所有表,所以查询都是 select * from ${TABLENAME} ,表名相同表结构相同)
如何用kettel比较源数据库中的所有表数据和目标数据库中的对应的表数据是否一致?
试过用合并记录方法,但是 合并记录需要关键字段和数据字段,而我两个表输入都是用的变量的方式,因此不知道数据字段,并且每个表的主键也不一样,关键字段也不好填写。有什么好方法可以实现
首先,抽取出来的两表的字段要一致;然后通过字段转换,将源表抽取的字段和目标表字段数据类型转成一致,然后合并记录,
通过关键字段、值字段进行比对,确定是完全相同不操作,还是更新或新增。最后再把处理结果(需要插入或更新的数据)插入目标表,
把完全相同的数据剔除不操作