戳码匠 2022-10-12 21:51
浏览 282
已结题

FlinkCDC连mysql时无法获取增量数据

问题遇到的现象和发生背景

最近学习FlinkCDC遇到一个问题,在连MySQL时明明设置了'scan.startup.mode' = 'initial',并且biglog也开启了,但是就是获取不到增量数据,求高人指点

用代码块功能插入代码,请勿粘贴截图

tableEnv.executeSql("CREATE TABLE waybill ( " +
" id Integer primary key, " +
" PrimaryWayBillCode STRING, " +
" CarrierCode STRING, " +
" Channel STRING, " +
" WarehouseCode STRING, " +
" StoreCode_OMS STRING, " +
" ShipDate TIMESTAMP(0) " +
") WITH ( " +
" 'connector' = 'mysql-cdc', " +
" 'scan.startup.mode' = 'initial', " +
" 'hostname' = 'localhost', " +
" 'port' = '3306', " +
" 'username' = 'root', " +
" 'password' = 'root', " +
" 'database-name' = 'flink_test', " +
" 'table-name' = 'waybill' " +
")");

img

我想要达到的结果

在操作数据库数据时Flink程序可以实时监听到

  • 写回答

1条回答 默认 最新

  • 戳码匠 2022-10-12 23:23
    关注

    解决了,没有开启checkpoint导致,加上下面代码即可
    env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);
    env.getCheckpointConfig().setCheckpointStorage("file:///E:/data/flink_checkpoint");

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月20日
  • 已采纳回答 10月12日
  • 创建了问题 10月12日

悬赏问题

  • ¥170 如图所示配置eNSP
  • ¥20 docker里部署springboot项目,访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏!微信开发者工具报错,求帮改
  • ¥20 wireshark抓不到vlan
  • ¥20 关于#stm32#的问题:需要指导自动酸碱滴定仪的原理图程序代码及仿真
  • ¥20 设计一款异域新娘的视频相亲软件需要哪些技术支持
  • ¥15 stata安慰剂检验作图但是真实值不出现在图上
  • ¥15 c程序不知道为什么得不到结果
  • ¥15 键盘指令混乱情况下的启动盘系统重装