Flink on yarn seeion后,task slot一直显示为0,怎么解决?
![](https://profile-avatar.csdnimg.cn/fa580daa0297476bb275850e972dc012_weixin_44597072.jpg!4)
Flink on yarn seeion后,task slot一直显示为0
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 技术宅program 2023-05-16 17:39关注
Flink on YARN session启动后,任务槽(task slot)一直显示为0,通常有以下几个原因:
- YARN中Flink组件没有启动。Flink on YARN需要在YARN集群上启动Flink组件,包括JobManager、TaskManager等。如果这些组件没有启动,会导致task slot为0。
解决方法:在YARN上启动Flink组件。可参考Flink文档:https://nightlies.apache.org/flink/flink-docs-release-1.11/docs/deployment/resource-providers/yarn/ - YARN中Flink组件启动超时。Flink组件启动需要一定时间,如果在YARN上分配的时间不足,会导致启动失败,task slot为0。
解决方法:增加Flink on YARN的启动超时时间。在Flink配置文件flink-conf.yaml中增加:
yarn.application-attempts: 10 # Application launch attempts
yarn.application-trys: 10 # application-launch try
yarn.application-master.timeout: 300000 # Timeout for application master startup
yarn.application-master.timeout: 300000 # Application master 启动超时
3. 任务槽资源不足。如果YARN集群资源不足,无法为Flink on YARN session分配需要的任务槽(task slot),会导致任务槽数量为0。
解决方法:增加YARN集群资源或减少Flink on YARN对任务槽的资源需求。可以在Flink配置文件中减少taskmanager.numberOfTaskSlots 的数量。
4. 其他YARN或网络问题。YARN服务异常、网络分区等其他问题也有可能导致Flink on YARN session上的任务槽为0。解决方法:根据报错信息进一步判断并修复问题。可能需要重启YARN服务、检查YARN日志与Flink日志等。
综上,出现Flink on YARN上任务槽为0的问题,通常与YARN上Flink组件的启动部署或者资源分配相关。主要的解决方法是:
- 确认YARN上Flink组件是否正常启动,如果未启动则启动Flink组件。
- 增加Flink组件的启动超时时间,防止因为超时导致启动失败。
- 检查YARN集群资源是否充足,如不充足增加资源或减小Flink对资源的需求。
- 查看YARN与Flink日志,进一步判断并修复其他可能的YARN或网络问题。
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报 - YARN中Flink组件没有启动。Flink on YARN需要在YARN集群上启动Flink组件,包括JobManager、TaskManager等。如果这些组件没有启动,会导致task slot为0。
悬赏问题
- ¥15 angular项目错误
- ¥20 需要帮我远程操控一下,运行一下我的那个代码,我觉得我无能为力了
- ¥20 有偿:在ubuntu上安装arduino以及其常用库文件。
- ¥15 请问用arcgis处理一些数据和图形,通常里面有一个根据点划泰森多边形的命令,直接划的弊端是只能执行一个完整的边界,但是我们有时候会用到需要在有很多边界内利用点来执行划泰森多边形的命令
- ¥30 在wave2foam中执行setWaveField时遇到了如下的浮点异常问题,请问该如何解决呢?
- ¥750 关于一道数论方面的问题,求解答!(关键词-数学方法)
- ¥200 csgo2的viewmatrix值是否还有别的获取方式
- ¥15 Stable Diffusion,用Ebsynth utility在视频选帧图重绘,第一步报错,蒙版和帧图没法生成,怎么处理啊
- ¥15 请把下列每一行代码完整地读懂并注释出来
- ¥15 寻找公式识别开发,自动识别整页文档、图像公式的软件