Error Carrot 2021-10-23 23:57 采纳率: 0%
浏览 226

提交spark任务到yarn，警告：WARN cluster.YarnScheduler: Initial job has not accepted any resources;

求问，把一个spark任务提交到yarn上执行，一直在报一个警告，没有成功执行，从yarn上看这个任务好像完全没有申请到资源，求问如何解决，或者我应该从哪里下手解决呢
提交任务的命令：

spark-submit --master yarn --class com.carrot.spark.sql1.demo09 /opt/SparkDemo.jar

警告日志：

2021-10-23 23:46:20,940 INFO cluster.YarnScheduler: Adding task set 1.0 with 2 tasks resource profile 0
2021-10-23 23:46:35,913 WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
  • 写回答

3条回答 默认 最新

  • 麦田上的字节 领域专家: 前端开发技术领域 2021-10-24 00:10
    关注

    可能是你在运行的时候hosts写错了. ”root@debian-master :“说明主机的hostname是debian-master,所以解决方法是用正确的host名（实在不行用ip）执行程序：
    root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# ./run-example org.apache.spark.examples.SparkPi spark://debian-master:7077

    评论

报告相同问题？

问题事件

  • 创建了问题 10月23日