戳码匠 2022-10-12 21:51
浏览 301
已结题

FlinkCDC连mysql时无法获取增量数据

问题遇到的现象和发生背景

最近学习FlinkCDC遇到一个问题,在连MySQL时明明设置了'scan.startup.mode' = 'initial',并且biglog也开启了,但是就是获取不到增量数据,求高人指点

用代码块功能插入代码,请勿粘贴截图

tableEnv.executeSql("CREATE TABLE waybill ( " +
" id Integer primary key, " +
" PrimaryWayBillCode STRING, " +
" CarrierCode STRING, " +
" Channel STRING, " +
" WarehouseCode STRING, " +
" StoreCode_OMS STRING, " +
" ShipDate TIMESTAMP(0) " +
") WITH ( " +
" 'connector' = 'mysql-cdc', " +
" 'scan.startup.mode' = 'initial', " +
" 'hostname' = 'localhost', " +
" 'port' = '3306', " +
" 'username' = 'root', " +
" 'password' = 'root', " +
" 'database-name' = 'flink_test', " +
" 'table-name' = 'waybill' " +
")");

img

我想要达到的结果

在操作数据库数据时Flink程序可以实时监听到

  • 写回答

1条回答 默认 最新

  • 戳码匠 2022-10-12 23:23
    关注

    解决了,没有开启checkpoint导致,加上下面代码即可
    env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);
    env.getCheckpointConfig().setCheckpointStorage("file:///E:/data/flink_checkpoint");

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月20日
  • 已采纳回答 10月12日
  • 创建了问题 10月12日

悬赏问题

  • ¥15 用vmmare虚拟机用sentaurus仿真的时候,调用terminal程序,输入swb指令弹出这个,打不开workbench,桌面上面的sentaurus workbench也打不开
  • ¥75 使用winspool.drv的SetPrinter设置打印机失败
  • ¥15 simulink 硬件在环路仿真
  • ¥15 python动态规划:N根火柴摆出的最大数字
  • ¥20 (标签-excel)
  • ¥200 求idea10和MyEclipse7.1
  • ¥20 vb6.0截取当前窗体保存为jpg文件
  • ¥20 苹果手机不使用大疆sdk怎么获取遥控器控制信息或如何接入大疆sdk并且成功上架sdk
  • ¥20 woocommerce 注册按键重定向
  • ¥100 求书法图像文字切割代码