CoderMurphy 2022-01-28 09:47 采纳率: 100%
浏览 406
已结题

flink消费kafka数据延迟

框架:kafka+flink 1.13.2+postgreSQL 9.4.24+scala+数据库框架slick3.3
问题:flink消费kafka数据,如果不写入数据库,从flink收到kafka源数据开始就可以正常消费kafka,不会延迟
如果要写入数据库,从flink接收kafka数据开始就延迟(打印过源数据,源数据有时间字段,整个程序都没有使用水印时间),源端设备发送数据的频率不一样(有一分钟三条,一分钟两条,一分钟一条的),发送频率越快,flink消费越慢,而且不管什么频率,flink消费数据延迟会越来越高
这是生产环境的情况,测试环境可以秒写入
大佬们这是什么原因😭

img

img

img

img

img

img

img

  • 写回答

1条回答 默认 最新

  • 周幽王丶 2022-01-28 17:23
    关注

    那最后写入到库了吗,如果写不进去,上游kafka肯定会延迟越来越大的,可以在sink里多打印下错误,或者设置写入超时时间,问题应该在写入

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 2月6日
  • 已采纳回答 1月29日
  • 创建了问题 1月28日

悬赏问题

  • ¥15 c#窗体设计器错误如何解决?
  • ¥30 征集Python提取PDF文字属性的代码
  • ¥15 如何联系真正的开发者而非公司
  • ¥15 有偿求苍穹外卖环境配置
  • ¥15 代码在keil5里变成了这样怎么办啊,文件图像也变了,
  • ¥20 Ue4.26打包win64bit报错,如何解决?(语言-c++)
  • ¥15 clousx6整点报时指令怎么写
  • ¥30 远程帮我安装软件及库文件
  • ¥15 关于#自动化#的问题:如何通过电脑控制多相机同步拍照或摄影(相机或者摄影模组数量大于60),并将所有采集的照片或视频以一定编码规则存放至规定电脑文件夹内
  • ¥20 (求远程解决)深信服vpn-2050这台设备如何配置才能成功联网?