sham000god 2014-05-13 07:40 采纳率: 0%
浏览 4106

关于Spark on Yarn运行WordCount的问题

运行wordcount程序是,一直提示以下的内容,yarnAppState状态一直没有变成running:
14/05/13 15:05:25 INFO yarn.Client: Application report from ASM:
application identifier: application_1399949387820_0008
appId: 8
clientToAMToken: null
appDiagnostics:
appMasterHost: N/A
appQueue: default
appMasterRpcPort: 0
appStartTime: 1399964104011
yarnAppState: ACCEPTED
distributedFinalState: UNDEFINED
appTrackingUrl: master:8088/proxy/application_1399949387820_0008/
appUser: hadoop

我有3个虚拟机,master内存1g,slave内存512m,我的运行脚本如下:
export YARN_CONF_DIR=/home/hadoop/hadoop-2.2.0/etc/hadoop
SPARK_JAR=/home/hadoop/spark-0.9.0-incubating-bin-hadoop2/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
./spark-class org.apache.spark.deploy.yarn.Client \
--jar spark-wordcount-in-scala.jar \
--class WordCount \
--args yarn-standalone \
--args hdfs://master:6000/input \
--args hdfs://master:6000/output \
--num-workers 1 \
--master-memory 512m \
--worker-memory 512m \
--worker-cores 1

请各位大神帮帮忙!!!

  • 写回答

1条回答 默认 最新

  • MarsXDM 2014-05-22 08:24
    关注

    请问解决了吗?我也遇到了这个问题,用的CDH5,然后跑了自带的SparkPi,也是一直都在distributedFinalState: UNDEFINED状态

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 MATLAB动图问题
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名