spark on yarn 问题

Question

请求帮帮忙！
spark on yarn 无法启动
最近在学习spark on yarn 内容，用 ./pyspark --master yarn 无法启动，总是报错：
ERROR spark.SparkContext: Error initializing SparkContext.
hadoop 集群已经全部启动，我的hadoop是3.3.2 spark 是3.2.1

报错结果如下图：

spark env 配置文件如下：

yarn yarn-site.xml配置文件如下:

Answer 1

仔细看日志信息，提示0个datanode了，也就是你的hdfs有问题，datanode都没起来，先去确定hdfs集群情况吧