flink cdc读取mysql的binlog以后写入hudi。hudi的写入模式为:'hoodie.datasource.write.operation' ='upsert',
如果flink cdc程序突然挂掉。在挂掉的这段时间内,mysql对数据进行了删除。
flink cdc重启后这条删除的数据是不能同步到hudi的吗(mysql删除了数据,重启后hudi里还存在这条数据)?
我目前的解决方式是:重启后flink cdc写入hudi的时候用overwrite 之后再重启写入模式更改为upsert。想问问大家有没有好的方法?
//tstable为读取mysql binlog生成的表
tstable.executeInsert("hudi_user_info",true) 首次执行这个 第二个参数是是否overwrite
tstable.executeInsert("hudi_user_info",false) 第二次执行这个