flink on yarn ,所有提交方式都报错

Question

这是报错页面

这是容器里额得报错信息，改了好多地方都不行，大家帮忙看看呢

Answer 1

本答案参考多次询问ChatGPT-3.5后选择的最佳回答，若是满意，还请采纳，谢谢。

针对您遇到的Flink on Yarn报错问题，根据搜索结果，这里有几个可能的解决方案：

1. Hadoop文件系统支持问题：Flink在1.11.0版本之后不再提供flink-shaded-hadoop-* jar包，而是需要通过配置环境变量来完成与YARN集群的对接。确保您的Hadoop版本至少在2.2以上，并且集群中安装有HDFS服务。您需要配置环境变量，例如：

   HADOOP_HOME=/soft/install/hadoop-2.7.5
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
   export HADOOP_CLASSPATH=`hadoop classpath`
   

   这将确保Hadoop依赖项通过HADOOP_CLASSPATH提供。

2. 添加必要的jar包：您可能需要将flink-shaded-hadoop-3-3.1.1.7.0.3.0-79-7.0.jar和commons-cli-1.5.0.jar添加到Flink的lib目录下。这些jar包可以通过Maven仓库下载。

3. 内存超限问题：如果错误是由于容器超出虚拟内存限制导致的，您可以尝试以下两种方法之一来解决：

   • 关闭Hadoop的虚拟内存检查：

     <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
     </property>
     

   • 减少分配的内存，例如将内存限制调整为800MB。

4. 检查资源配置：确保YARN集群有足够的资源来运行Flink作业，包括内存、磁盘空间等。如果资源不足，可能需要调整YARN的资源配置或优化Flink作业的资源需求。

请根据上述建议逐一排查和调整，希望能帮助您解决Flink on Yarn的报错问题。如果问题仍然存在，建议检查Flink和YARN的日志文件以获取更详细的错误信息。