Jasonnnhui
J_Sofi
采纳率0%
2017-06-05 09:11 阅读 1.0k

Spark 中core没有分配

刚学习Hadoop+Spark
图片说明
这是在virtualBox中建立的master->(slave1, slave2)集群
我通过
spark-shell --executor-memory 512m --master spark://master:7077
打开spark,然后发现,在UI中显示的状态是Waiting

我的spark-env.sh配置如下:
export SPARK_MASTER_IP=master
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=300m
export SPARK_EXECUTOR_INSTANCES=1

然后在scala中执行:
val textFile=sc.textFile("hdfs://master:9000/home/hduser/wordcount/input/LICENSE.txt")
textFile.count
出现如下错误
图片说明

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

1条回答 默认 最新

  • coding_hello 野男孩 2017-07-14 14:00

    spark-shell --executor-memory 512m --master spark://master:7077
    ———————————

    /\
    |
    |
    |
    512M太大了,你每个节点才300M,分不出来512M per Node

    点赞 评论 复制链接分享

相关推荐