guodu1223 2022-05-30 02:37 采纳率: 66.7%
浏览 49
已结题

spark on yarn 问题

请求帮帮忙!
spark on yarn 无法启动
最近在学习spark on yarn 内容,用 ./pyspark --master yarn 无法启动,总是报错:
ERROR spark.SparkContext: Error initializing SparkContext.
hadoop 集群已经全部启动,我的hadoop是3.3.2 spark 是3.2.1

报错结果如下图:

img

spark env 配置文件如下:

img

yarn yarn-site.xml配置文件如下:

img

  • 写回答

3条回答 默认 最新

  • sf_www 大数据领域新星创作者 2022-05-30 13:52
    关注

    仔细看日志信息,提示0个datanode了,也就是你的hdfs有问题,datanode都没起来,先去确定hdfs集群情况吧

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 6月8日
  • 已采纳回答 5月31日
  • 创建了问题 5月30日