weixin_46861734 2021-07-21 15:12 采纳率: 0%
浏览 311

有没有做过基于datax二次开发,实现数据导入的去重功能

基于datax的二次开发,实现数据导入时,对完全相同的数据进行去重,
例如一个txt文件中,有;两条一模一样的数据,要对其进行去重之后入库

  • 写回答

1条回答 默认 最新

  • 1999 2022-08-11 22:16
    关注

    我的理解是 原始数据重复的话可以用sql去重 目标数据重复一般都是 before 根据同步策略 按照时间呀 或者主键呀先删除再插入

    评论

报告相同问题？

问题事件

  • 创建了问题 7月21日