CoderMurphy
2022-01-28 09:47
采纳率: 100%
浏览 79
已结题

flink消费kafka数据延迟

框架：kafka+flink 1.13.2+postgreSQL 9.4.24+scala+数据库框架slick3.3
问题：flink消费kafka数据，如果不写入数据库，从flink收到kafka源数据开始就可以正常消费kafka，不会延迟
如果要写入数据库，从flink接收kafka数据开始就延迟(打印过源数据，源数据有时间字段，整个程序都没有使用水印时间)，源端设备发送数据的频率不一样(有一分钟三条，一分钟两条，一分钟一条的)，发送频率越快，flink消费越慢，而且不管什么频率，flink消费数据延迟会越来越高
这是生产环境的情况，测试环境可以秒写入
大佬们这是什么原因😭

img

img

img

img

img

img

img

图片转代码服务由CSDN问答提供 功能建议

 213
 214              //实时数据落到PG
 215               DBSinKIOTInfo.sinkSourceToPGFrelwater(frelwaterReal)
 216               DBSInkIOTInfo.sinkSourceToPGFrelgas(frelgasReal)
 217
 人Build

1条回答 默认 最新

报告相同问题？

提交

相关推荐 更多相似问题

  • flink消费kafka数据延迟 flinkpostgresqlscala有问必答
    2022-01-28 09:47
    回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
  • flink消费kafka flinkjavakafka有问必答
    2021-07-02 11:07
    回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
  • flinksql读取kafka数据报错 flinkkafka
    2022-07-13 20:33
    回答 3 已采纳 restclient异常，先看看taskmanager和jobmanager是否正常，然后你可以在jobmanager的节点上访问webUI查看job状态，又或者直接查看宿主机上的日志排查问题
  • 实时数仓 大数据 Hadoop flink kafka
    2022-03-14 17:08
    送你秋天的第一杯奶茶的博客 ⼀、实时数仓建设背景 实时需求⽇趋迫切 ⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，...实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计算框架越来越成熟。 ⼀⽅⾯
  • 没有解决我的问题, 去提问