lmw0320
2021-07-16 08:59
采纳率: 60%
浏览 193

spark-submit提交py文件,一直提示资源不足~~

spark-submit问题,具体情况如下:(目的是使用py代码连接hbase获取相应数据)

进入pyspark交互环境下的yarn模式,可以在RM的UI界面看到相应的任务,也可以正常连接hbase获取数据。

使用spark-submit提交相同的py代码,也同样在yarn模式下,却无法正常执行。RM的UI中看不到相应的任务提交,执行过程中会一直提示:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
而如果结束该任务,在Spark的History Sever可以看到任务的提交记录。。

环境情况说明下:
1)CDH-6.3.2的集成大数据平台安装了完整的spark, hadoop, hbase等;
2)我测试过,pyspark的交互环境下,用local和yarn模式,都可以正常获取hbase数据。而如果用standalone模式,却不行,也是报资源不足的问题(进入这个交互环境的命令是 pyspark --master spark://r1:7077)
3) 使用spark-submit方式提交任务,不论是local、yarn,还是standalone模式,都是提示资源不足的情况。
这个问题要怎么解决??

1条回答 默认 最新

相关推荐 更多相似问题