想问下 flink 设置了watermark， 但我不想数据丢失可以吗。按照常规套路，应该是超过late的就要丢失了。
但是假如有时候上游报错，或者kafka问题，或者什么异常问题导致有时一段时间内无法消费，恢复后重新消费，数据全都不丢。
有这种做法吗
flink如何设置数据不丢失
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- jjjkf 2022-01-25 14:39关注
watermark是用的eventTime,eventTime是数据字段里的时间，不是系统时间，所以如果flink没收到数据，时间是不会走的，不用担心数据丢失
评论 打赏解决 1无用举报 分享
- 2022-01-28 09:47回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
- 2022-05-27 11:19回答 1 已采纳 当10:14:51的数据来之前，流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ，导致当前waterMark 的值更新为 这个最大的
- 2022-10-12 21:51回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
- 2021-09-04 16:56Vicky_Tang的博客 1. Flink 的特点 Flink 具有高吞吐、低延时、高性能的特点 支持基于时间语义、窗口及状态编程 ... Flink 支持状态编程，而 SparkStreaming 不支持 Flink：JobManager、TaskManager SparkStreaming.
- 2022-07-13 20:33回答 3 已采纳 restclient异常，先看看taskmanager和jobmanager是否正常，然后你可以在jobmanager的节点上访问webUI查看job状态，又或者直接查看宿主机上的日志排查问题
- 2021-07-08 17:53回答 1 已采纳 你的包导入错了。是这个import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
- 2021-07-16 14:22回答 1 已采纳 OutputTag获取迟到数据，二次消费
- 2023-05-09 20:18mql007007的博客 Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala...
- 2021-08-03 10:23回答 1 已采纳 超过00:00的数据如果不需要，直接放入测流就好。不管是后续使用还是丢掉。或者本身就有时间字段，直接加filter算子过滤不参与flink计算就好。
- 2023-03-28 20:55回答 2 已采纳 对于时间窗口，开始时间和结束时间的计算方式如下： 滚动时间窗口：按照固定的时间长度对数据进行分组，窗口的大小和滑动步长相同，例如，5秒的滚动窗口，每5秒钟计算一次。开始时间为当前窗口大小的整数倍，结束
- 2023-02-01 10:55回答 4 已采纳 题主的思路完全正确可行，因为我就是这么做的。也是一开始觉得不是很正规，但确实能解决实际的业务问题，要相信自己。 梳理一下BaseJar：丢到linux服务器上，用来解析Flink SQL语句MySQ
- 2023-03-13 21:14骚戴的博客 大数据技术之 Flink-CDC
- 2021-07-20 16:10回答 1 已采纳 放到kafka缓存 或者切成一个个小文件
- 2021-04-22 10:49猿与禅的博客 在这种操作模式下，您可以选择在产生任何结果之前先摄取整个数据集，这意味着，例如，可以对数据进行排序，计算全局统计数据或产生总结所有输入的最终报告。 另一方面，流处理涉及无限的数据流。至少
- 2020-11-05 15:14小迷糊同学的博客 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。即最多处理一次事件。 AT-LEAST-ONCE（至少一次） （不能保证数据不被重复处理） 在大多数真实应用场景，我们希望不丢...
- 没有解决我的问题, 去提问
问题事件
创建了问题
1月22日
悬赏问题
- ¥40 复杂的限制性的商函数处理
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码