J_Sofi 2017-06-05 09:11 采纳率: 0%
浏览 1055

Spark 中core没有分配

刚学习Hadoop+Spark
图片说明
这是在virtualBox中建立的master->(slave1, slave2)集群
我通过
spark-shell --executor-memory 512m --master spark://master:7077
打开spark,然后发现,在UI中显示的状态是Waiting

我的spark-env.sh配置如下:
export SPARK_MASTER_IP=master
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=300m
export SPARK_EXECUTOR_INSTANCES=1

然后在scala中执行:
val textFile=sc.textFile("hdfs://master:9000/home/hduser/wordcount/input/LICENSE.txt")
textFile.count
出现如下错误
图片说明

  • 写回答

1条回答

  • 野男孩 2017-07-14 14:00
    关注

    spark-shell --executor-memory 512m --master spark://master:7077
    ———————————

    /\
    |
    |
    |
    512M太大了,你每个节点才300M,分不出来512M per Node

    评论

报告相同问题?

悬赏问题

  • ¥20 删除和修改功能无法调用
  • ¥15 kafka topic 所有分副本数修改
  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化?(包含心率信息))
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops?
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口,同时实现向pc一边投屏一边上传数据的解决方案。
  • ¥15 SQL Server analysis services 服务安装失败