CoderMurphy
2022-01-28 09:47
采纳率: 100%
浏览 79

flink消费kafka数据延迟

框架:kafka+flink 1.13.2+postgreSQL 9.4.24+scala+数据库框架slick3.3
问题:flink消费kafka数据,如果不写入数据库,从flink收到kafka源数据开始就可以正常消费kafka,不会延迟
如果要写入数据库,从flink接收kafka数据开始就延迟(打印过源数据,源数据有时间字段,整个程序都没有使用水印时间),源端设备发送数据的频率不一样(有一分钟三条,一分钟两条,一分钟一条的),发送频率越快,flink消费越慢,而且不管什么频率,flink消费数据延迟会越来越高
这是生产环境的情况,测试环境可以秒写入
大佬们这是什么原因😭

img

img

img

img

img

img

img

图片转代码服务由CSDN问答提供 功能建议

 213
 214              //实时数据落到PG
 215               DBSinKIOTInfo.sinkSourceToPGFrelwater(frelwaterReal)
 216               DBSInkIOTInfo.sinkSourceToPGFrelgas(frelgasReal)
 217
 人Build

1条回答 默认 最新

相关推荐 更多相似问题