香辣绵阳卷 2017-08-23 02:53 采纳率: 0%
浏览 2672

kettle数据同步中遇到的典型主键和时间戳乱序的问题

在做数据同步时遇到这么一个问题,对方数据由于业务需要,无法确定主键和时间戳(主键乱序,时间戳不是递增的),在抽取一定主键和时间戳范围的数据后,对方数据库又进来一些数据,这些数据中主键值比我们下一次开始抽取的主键范围要小,时间戳同理,这样就造成了数据丢失,请问如何才能将这些数据抽取到???

  • 写回答

1条回答 默认 最新

  • 技术人-志同道合 2017-08-23 05:02
    关注

    你好,以下做法你可以参考下.

    针对ETL数据同步问题, 最好按照更新时间字段进行增量同步,同步的输出步骤应该采用【插入/更新】步骤,如下图
    图片说明
    比如按照更新时间字段update_time 在‘2017-08-23 00:00:00’、‘2017-08-23 59:59:59’的所有数据同步更新
    如果目标表没有此次增量同步数据(比较主键),【插入/更新】步骤会插入一条新记录,如果目标表有相同数据(比较主键),
    那么【插入/更新】步骤会更新这条记录。

    最好不要根据主键ID范围同步数据。

    评论

报告相同问题?

悬赏问题

  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)