州周 2023-02-14 17:42 采纳率: 33.3%
浏览 38
已结题

flink cdc重启后这条删除的数据是不能同步到hudi的吗(mysql删除了数据,重启后hudi里还存在这条数据)

flink cdc读取mysql的binlog以后写入hudi。hudi的写入模式为:'hoodie.datasource.write.operation' ='upsert',

如果flink cdc程序突然挂掉。在挂掉的这段时间内,mysql对数据进行了删除。

flink cdc重启后这条删除的数据是不能同步到hudi的吗(mysql删除了数据,重启后hudi里还存在这条数据)?

我目前的解决方式是:重启后flink cdc写入hudi的时候用overwrite 之后再重启写入模式更改为upsert。想问问大家有没有好的方法?

  //tstable为读取mysql binlog生成的表
  tstable.executeInsert("hudi_user_info",true)  首次执行这个  第二个参数是是否overwrite
  tstable.executeInsert("hudi_user_info",false) 第二次执行这个  

img

img

img

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2023-02-14 20:17
    关注
    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 2月21日
  • 创建了问题 2月14日