WaiSaa 2022-02-28 15:14 采纳率: 0%
浏览 328

有关flink数据消费速度的问题

我现在遇到这样一种情况，flink从rabbitmq中消费数据，我先向rabbitmq中写入8万条数据，然后打开flink程序进行消费，flink程序以每秒1万条的速度消费数据，rabbitmq中的数据很快就没了，但是flink程序处理速度很慢（每秒几千条数据），这样其实是flink的消费速度大于了自身的处理能力，数据都缓存在了程序内部，如果数据源持续生产数据，那flink程序早晚会因内存溢出挂掉。我查了flink相关资料，flink自身有天然的反压机制，按理说，后面算子的处理能力慢会向前面的算子进行反压，直到反压source源的数据消费速度，但是我这面测试好像不是这样的，这是什么原因啊

  • 写回答

2条回答 默认 最新

  • 三千烦恼丝xzh 2022-02-28 15:25
    关注

    适当减少taskmanager的内存进行观察？也许你的数据积压没有达到内存阀值？

    评论 编辑记录

报告相同问题？

问题事件

  • 创建了问题 2月28日

悬赏问题

  • ¥15 请完成下列相关问题！
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
  • ¥15 求daily translation（DT）偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的？
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机