请求帮帮忙!spark on yarn 无法启动最近在学习spark on yarn 内容,用 ./pyspark --master yarn 无法启动,总是报错:ERROR spark.SparkContext: Error initializing SparkContext.hadoop 集群已经全部启动,我的hadoop是3.3.2 spark 是3.2.1
报错结果如下图:
spark env 配置文件如下:
yarn yarn-site.xml配置文件如下:
收起
仔细看日志信息,提示0个datanode了,也就是你的hdfs有问题,datanode都没起来,先去确定hdfs集群情况吧
报告相同问题?