请求帮帮忙！
spark on yarn 无法启动
最近在学习spark on yarn 内容，用 ./pyspark --master yarn 无法启动，总是报错：
ERROR spark.SparkContext: Error initializing SparkContext.
hadoop 集群已经全部启动，我的hadoop是3.3.2 spark 是3.2.1
报错结果如下图：
spark env 配置文件如下：
yarn yarn-site.xml配置文件如下:
浏览 46
已结题
spark on yarn 问题
- 写回答
- 好问题 提建议
- 追加酬金
- 关注问题
- 分享
- 邀请回答
微信扫一扫3条回答 默认 最新
相关推荐 更多相似问题
- 2022-05-30 02:37回答 3 已采纳 仔细看日志信息，提示0个datanode了，也就是你的hdfs有问题，datanode都没起来，先去确定hdfs集群情况吧
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2022-05-15 19:13回答 1 已采纳 之前碰到过这个报错，当时修改pom文件添加了一个依赖 <dependency> <groupId>org.apache.hadoop</groupId>
- 2021-11-29 20:46枫_Maple的博客 这篇文章将从源码的角度向大家展示Spark是如何提交任务到Yarn上执行的，如有错误，还请各位指出。（基于Spark 3.0.0）
- 2021-11-26 20:48上官沐雪的博客 spark on yarn集群的提交过程 当程序提交时会启动sparkSubmit进程，里面会有解析参数对象(sparkSubmitArguments)和连接yarn的对象（yarnClusterApplication、yarnClient） 连接yarn的对象连接resourceManager，请求...
- 没有解决我的问题, 去提问
