当正常手动重启yarn后，之前flink job也丢失了,如何能够自动恢复？
目前想到的做法是：
重启前先，保存每个job的savepoint
重启yarn
启动flink(通过yarn-session.sh -d 启动)
重新提交jobs（从第一步的savepoint中恢复）
感觉很麻烦！！
flink on yarn 如何在yarn 集群重启后自动恢复
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-04-08 17:24回答 1 已采纳 检查com.dylan.wc.StreamWordCount这个类路径是否正确
- 2021-07-04 18:40回答 2 已采纳 如果任务为多个，那么standalone模式下，资源隔离做的较差。
- 2021-07-28 13:39回答 1 已采纳 /tmp目录是flink默认的临时文件目录。这三个参数的目录指定未自己创建的目录，给权限。state.checkpoints.dirstate.savepoints.dirio.tmp.dirs
- 2022-07-29 14:50bigdata-rookie的博客 flink on yarn 程序监控自启脚本
- 2022-02-09 15:08回答 2 已采纳 在这里：https://github.com/apache/flink/tree/69d9fade5b0e3629c84548c06f0624e9e66fdefe/flink-connectors/f
- 2022-11-16 17:18回答 1 已采纳 你没发现你RowData的构造函数里面没赋值吗😓
- 2022-05-27 11:19回答 1 已采纳 当10:14:51的数据来之前，流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ，导致当前waterMark 的值更新为 这个最大的
- 2021-09-05 16:56半吊子Kyle的博客 将 Flink 的 jar 包提交在 yarn 集群中，由 yarn 集群调度执行，所以我们只需要在 1 台服务器中解压 Flink 安装包就可以，其本质仅仅只是为了提交 Flink 应用到 yarn 集群中 Flink On Yarn 的两种运行模式 ① ...
- 2023-03-28 20:55回答 2 已采纳 对于时间窗口，开始时间和结束时间的计算方式如下： 滚动时间窗口：按照固定的时间长度对数据进行分组，窗口的大小和滑动步长相同，例如，5秒的滚动窗口，每5秒钟计算一次。开始时间为当前窗口大小的整数倍，结束
- 2023-02-01 10:55回答 4 已采纳 题主的思路完全正确可行，因为我就是这么做的。也是一开始觉得不是很正规，但确实能解决实际的业务问题，要相信自己。 梳理一下BaseJar：丢到linux服务器上，用来解析Flink SQL语句MySQ
- 2021-04-22 21:42回答 2 已采纳 找到了，是关联的右边的字典表出现了很多重复数据，去重之后再关联就好了。
- 2018-03-16 09:32大数据徐葳的博客 yarn集群模式 Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e 快速开始 在yarn上启动一个一直运行的flink集群 在yarn上运行一个flink job ...
- 2022-08-11 17:52回答 1 已采纳 两个JDBC的维表加上主键定义PRIMARY KEY (sf_id) NOT ENFORCED
- 2021-04-24 23:35Lansonli的博客 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下： -1.Yarn的资源可以按需使用，提高集群的资源利用率 -2.Yarn的任务有优先级，根据优先级运行作业 -3.基于Yarn调度系统，能够自动化地...
- 2020-06-21 15:12宝哥大数据的博客 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以...
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月26日
创建了问题
10月18日
悬赏问题
- ¥20 基于MSP430f5529的MPU6050驱动，求出欧拉角
- ¥20 Java-Oj-桌布的计算
- ¥15 powerbuilder中的datawindow数据整合到新的DataWindow
- ¥20 有人知道这种图怎么画吗？
- ¥15 pyqt6如何引用qrc文件加载里面的的资源
- ¥15 安卓JNI项目使用lua上的问题
- ¥20 RL+GNN解决人员排班问题时梯度消失
- ¥60 要数控稳压电源测试数据
- ¥15 能帮我写下这个编程吗
- ¥15 ikuai客户端l2tp协议链接报终止15信号和无法将p.p.p6转换为我的l2tp线路