kettle数据同步中遇到的典型主键和时间戳乱序的问题

Question

在做数据同步时遇到这么一个问题，对方数据由于业务需要，无法确定主键和时间戳（主键乱序，时间戳不是递增的），在抽取一定主键和时间戳范围的数据后，对方数据库又进来一些数据，这些数据中主键值比我们下一次开始抽取的主键范围要小，时间戳同理，这样就造成了数据丢失，请问如何才能将这些数据抽取到？？？

Answer 1

你好,以下做法你可以参考下.

针对ETL数据同步问题, 最好按照更新时间字段进行增量同步，同步的输出步骤应该采用【插入/更新】步骤，如下图

比如按照更新时间字段update_time 在‘2017-08-23 00:00:00’、‘2017-08-23 59:59:59’的所有数据同步更新
如果目标表没有此次增量同步数据（比较主键），【插入/更新】步骤会插入一条新记录，如果目标表有相同数据（比较主键）,
那么【插入/更新】步骤会更新这条记录。

最好不要根据主键ID范围同步数据。