J_Sofi 2017-06-05 09:11 采纳率: 0%
浏览 1055

Spark 中core没有分配

刚学习Hadoop+Spark
图片说明
这是在virtualBox中建立的master->(slave1, slave2)集群
我通过
spark-shell --executor-memory 512m --master spark://master:7077
打开spark,然后发现,在UI中显示的状态是Waiting

我的spark-env.sh配置如下:
export SPARK_MASTER_IP=master
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=300m
export SPARK_EXECUTOR_INSTANCES=1

然后在scala中执行:
val textFile=sc.textFile("hdfs://master:9000/home/hduser/wordcount/input/LICENSE.txt")
textFile.count
出现如下错误
图片说明

  • 写回答

1条回答 默认 最新

  • 野男孩 2017-07-14 14:00
    关注

    spark-shell --executor-memory 512m --master spark://master:7077
    ———————————

    /\
    |
    |
    |
    512M太大了,你每个节点才300M,分不出来512M per Node

    评论

报告相同问题?

悬赏问题

  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名