我现在遇到这样一种情况，flink从rabbitmq中消费数据，我先向rabbitmq中写入8万条数据，然后打开flink程序进行消费，flink程序以每秒1万条的速度消费数据，rabbitmq中的数据很快就没了，但是flink程序处理速度很慢（每秒几千条数据），这样其实是flink的消费速度大于了自身的处理能力，数据都缓存在了程序内部，如果数据源持续生产数据，那flink程序早晚会因内存溢出挂掉。我查了flink相关资料，flink自身有天然的反压机制，按理说，后面算子的处理能力慢会向前面的算子进行反压，直到反压source源的数据消费速度，但是我这面测试好像不是这样的，这是什么原因啊
2条回答 默认 最新
- 2022-01-28 09:47回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
- 2022-05-27 11:19回答 1 已采纳 当10:14:51的数据来之前，流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ，导致当前waterMark 的值更新为 这个最大的
- 2021-07-16 14:22回答 1 已采纳 OutputTag获取迟到数据，二次消费
- 2022-08-03 22:56Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
- 2021-07-02 11:07回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
- 2022-04-24 10:13回答 1 已采纳 多个节点，同时获取到了数据，几个节点就有几次
- 2021-07-20 16:10回答 1 已采纳 放到kafka缓存 或者切成一个个小文件
- 2023-08-04 17:29人猿宇宙的博客 运行本段代码，等待kafka产生数据进行消费。
- 2022-07-13 20:33回答 3 已采纳 restclient异常，先看看taskmanager和jobmanager是否正常，然后你可以在jobmanager的节点上访问webUI查看job状态，又或者直接查看宿主机上的日志排查问题
- 2022-10-12 21:51回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
- 2021-08-03 10:23回答 1 已采纳 超过00:00的数据如果不需要，直接放入测流就好。不管是后续使用还是丢掉。或者本身就有时间字段，直接加filter算子过滤不参与flink计算就好。
- 2024-07-27 22:50云梦优选的博客 通过 Flink，可以构建一个高效、可扩展的实时数据采集和处理系统。从数据源接入到数据处理，再到数据输出，Flink 提供了丰富的 API 和工具来支持你的需求。同时，通过监控和调优，你可以确保系统的稳定性和性能。
- 2023-03-07 15:49回答 4 已采纳 Flink 在启动任务的时候，创建输入分片时发生了错误，导致无法启动任务。你需要检查一下程序中读取文件的代码是否正确，文件路径是否正确，文件是否存在，并且当前用户是否有访问该文件的权限。如果需要，可以
- 2024-10-27 16:14小码农叔叔的博客 Flink + Kafka 实现通用流式数据处理详解
- 2024-10-07 16:13小码农叔叔的博客 Flink CDC 实时同步mysql数据
- 没有解决我的问题, 去提问
问题事件
创建了问题
2月28日
悬赏问题
- ¥15 如何让企业微信机器人实现消息汇总整合
- ¥50 关于#ui#的问题：做yolov8的ui界面出现的问题
- ¥15 如何用Python爬取各高校教师公开的教育和工作经历
- ¥15 TLE9879QXA40 电机驱动
- ¥20 对于工程问题的非线性数学模型进行线性化
- ¥15 Mirare PLUS 进行密钥认证？（详解）
- ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
- ¥20 想用ollama做一个自己的AI数据库
- ¥15 关于qualoth编辑及缝合服装领子的问题解决方案探寻
- ¥15 请问怎么才能复现这样的图呀