框架:kafka+flink 1.13.2+postgreSQL 9.4.24+scala+数据库框架slick3.3
问题:flink消费kafka数据,如果不写入数据库,从flink收到kafka源数据开始就可以正常消费kafka,不会延迟
如果要写入数据库,从flink接收kafka数据开始就延迟(打印过源数据,源数据有时间字段,整个程序都没有使用水印时间),源端设备发送数据的频率不一样(有一分钟三条,一分钟两条,一分钟一条的),发送频率越快,flink消费越慢,而且不管什么频率,flink消费数据延迟会越来越高
这是生产环境的情况,测试环境可以秒写入
大佬们这是什么原因😭
flink消费kafka数据延迟
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 周幽王丶 2022-01-28 17:23关注
那最后写入到库了吗,如果写不进去,上游kafka肯定会延迟越来越大的,可以在sink里多打印下错误,或者设置写入超时时间,问题应该在写入
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 有两个非常“自以为是”烦人的问题急期待大家解决!
- ¥30 STM32 INMP441无法读取数据
- ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
- ¥15 用visualstudio2022创建vue项目后无法启动
- ¥15 x趋于0时tanx-sinx极限可以拆开算吗
- ¥500 把面具戴到人脸上,请大家贡献智慧,别用大模型回答,大模型的答案没啥用
- ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。
- ¥15 各位 帮我看看如何写代码,打出来的图形要和如下图呈现的一样,急
- ¥30 c#打开word开启修订并实时显示批注
- ¥15 如何解决ldsc的这条报错/index error