flink提交任务失败,查看yarn日志发现sleep interrupted,怎么解决(语言-java|操作系统-linux)

Question

在linux中用flink提交任务失败,查看yarn的日志时看到ERROR delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted，这该怎么解决啊

Answer 1

这个错误通常发生在YARN使用的Token Secret Manager线程上，它会定期检查令牌是否过期。在某些情况下，由于某些原因，该线程可能会受到InterruptedException中断。为了解决这个问题，你可以尝试以下步骤：

确认你的程序中没有任何死循环或无限等待的代码段。这些代码段有可能会导致线程被阻塞或中断。

尝试升级你的Flink和YARN版本。某些版本中存在已知的此类问题，更新到最新版本可能会解决问题。

尝试增加Delegation Token Secret Manager的睡眠时间以避免中断。在yarn-site.xml文件中添加以下配置即可：

<property>
  <name>yarn.timeline-service.token-renewal-interval</name>
  <value>60000</value>
</property>

这将把Token renew interval更改为60秒，使Secret Manager的睡眠时间更长一些，减少中断的可能性。