州周 2023-02-14 17:42 采纳率: 33.3%
浏览 26
已结题

flink cdc重启后这条删除的数据是不能同步到hudi的吗(mysql删除了数据,重启后hudi里还存在这条数据)

flink cdc读取mysql的binlog以后写入hudi。hudi的写入模式为:'hoodie.datasource.write.operation' ='upsert',

如果flink cdc程序突然挂掉。在挂掉的这段时间内,mysql对数据进行了删除。

flink cdc重启后这条删除的数据是不能同步到hudi的吗(mysql删除了数据,重启后hudi里还存在这条数据)?

我目前的解决方式是:重启后flink cdc写入hudi的时候用overwrite 之后再重启写入模式更改为upsert。想问问大家有没有好的方法?

  //tstable为读取mysql binlog生成的表
  tstable.executeInsert("hudi_user_info",true)  首次执行这个  第二个参数是是否overwrite
  tstable.executeInsert("hudi_user_info",false) 第二次执行这个  

img

img

img

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2023-02-14 20:17
    关注
    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 2月21日
  • 创建了问题 2月14日

悬赏问题

  • ¥15 请问为什么我配置IPsec后PC1 ping不通 PC2,抓包出来数据包也并没有被加密
  • ¥200 求博主教我搞定neo4j简易问答系统,有偿
  • ¥15 nginx的使用与作用
  • ¥100 关于#VijeoCitect#的问题,如何解决?(标签-ar|关键词-数据类型)
  • ¥15 一个矿井排水监控系统的plc梯形图,求各程序段都是什么意思
  • ¥50 安卓10如何在没有root权限的情况下设置开机自动启动指定app?
  • ¥15 ats2837 spi2从机的代码
  • ¥200 wsl2 vllm qwen1.5部署问题
  • ¥100 有偿求数字经济对经贸的影响机制的一个数学模型,弄不出来已经快要碎掉了
  • ¥15 数学建模数学建模需要