m0_37979608
香辣绵阳卷
采纳率0%
2017-08-23 02:53 阅读 2.5k

kettle数据同步中遇到的典型主键和时间戳乱序的问题

在做数据同步时遇到这么一个问题,对方数据由于业务需要,无法确定主键和时间戳(主键乱序,时间戳不是递增的),在抽取一定主键和时间戳范围的数据后,对方数据库又进来一些数据,这些数据中主键值比我们下一次开始抽取的主键范围要小,时间戳同理,这样就造成了数据丢失,请问如何才能将这些数据抽取到???

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

1条回答 默认 最新

  • zfqiuyue 技术人-志同道合 2017-08-23 05:02

    你好,以下做法你可以参考下.

    针对ETL数据同步问题, 最好按照更新时间字段进行增量同步,同步的输出步骤应该采用【插入/更新】步骤,如下图
    图片说明
    比如按照更新时间字段update_time 在‘2017-08-23 00:00:00’、‘2017-08-23 59:59:59’的所有数据同步更新
    如果目标表没有此次增量同步数据(比较主键),【插入/更新】步骤会插入一条新记录,如果目标表有相同数据(比较主键),
    那么【插入/更新】步骤会更新这条记录。

    最好不要根据主键ID范围同步数据。

    点赞 评论 复制链接分享

相关推荐