戳码匠 2022-10-12 21:51
浏览 282
已结题

FlinkCDC连mysql时无法获取增量数据

问题遇到的现象和发生背景

最近学习FlinkCDC遇到一个问题,在连MySQL时明明设置了'scan.startup.mode' = 'initial',并且biglog也开启了,但是就是获取不到增量数据,求高人指点

用代码块功能插入代码,请勿粘贴截图

tableEnv.executeSql("CREATE TABLE waybill ( " +
" id Integer primary key, " +
" PrimaryWayBillCode STRING, " +
" CarrierCode STRING, " +
" Channel STRING, " +
" WarehouseCode STRING, " +
" StoreCode_OMS STRING, " +
" ShipDate TIMESTAMP(0) " +
") WITH ( " +
" 'connector' = 'mysql-cdc', " +
" 'scan.startup.mode' = 'initial', " +
" 'hostname' = 'localhost', " +
" 'port' = '3306', " +
" 'username' = 'root', " +
" 'password' = 'root', " +
" 'database-name' = 'flink_test', " +
" 'table-name' = 'waybill' " +
")");

img

我想要达到的结果

在操作数据库数据时Flink程序可以实时监听到

  • 写回答

1条回答 默认 最新

  • 戳码匠 2022-10-12 23:23
    关注

    解决了,没有开启checkpoint导致,加上下面代码即可
    env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);
    env.getCheckpointConfig().setCheckpointStorage("file:///E:/data/flink_checkpoint");

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月20日
  • 已采纳回答 10月12日
  • 创建了问题 10月12日

悬赏问题

  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!