yarn 全部 | 未解决 | 已解决
2018.12.03 09:21来自 Scapel

SparkStreaming程序报错,yarn模式,求解答!

WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_1543366370005_9010_0...
1

回答

2018.11.10 09:08来自 小白walk

spark on yarn 8088界面只有一个程序是Running状态,其他都是ACCEPTED状态

请教:我的程序是只能在8088界面显示一个AppId 是running状态,其他都是ACCEPTED状态。尝试修改了spark-env以及yarn-site.xml,spark-defaults.conf,以及ca...
1

回答

2018.03.22 15:58来自 qq_37551311 悬赏 40C 40 ¥

Hadoop, Yarn, 资源管理 资源列表

请问,在做一个课程项目,需要知道当前状态下,哪些计算node(container)是空闲的,哪些node是在使用中的? 需要截取到这个信息,然后改一下源码,利用起来空闲的node. 比如,我提交一个任务,现在有10...
2

回答

2018.01.15 01:46来自 一只有梦想的咸鱼 悬赏 5C 5 ¥

spark on yarn 如何修改yarn监控界面的user

我在做一个windows环境下的服务器用于 提交spark任务到yarn集群上的工作,但这样一来,每次提交的任务都是那台服务器的名称,如何动态修改 该值??
3

回答

2017.12.02 04:21来自 土突突

伪分布式下的hadoop在yarn上运行单词计数一直卡在 map 0%, reduce 0%

把单词计数任务提交给yarn,最后卡在0%停止了,看了日志好像是map内存不足了,应该改哪个地方的配置啊 ? 环境是在虚拟机上的伪分布式,环境 Centos6, Hadoop-2.7.4 ![图片说明](http...
1

回答

2017.10.22 10:31来自 guihe8135

web提交Spark到yarn方案。。求助

现在要求是web后台调用spark,spark在yarn上跑。(这里web服务器和yarn在不同的服务器上)。。我能想到的方法就是spark打成jar包,web后台去执行脚本/命令。。。有没有不用打jar包的方法啊...
2

回答

2017.10.11 23:33来自 荒饰

spark集群运行错误:15

这是一个仿照网上例子,自己学习测试的。用scala编写写了一个wordCount的例子,在myEclipse上是可以运行的,并可以得出结果。现在将例子导出jar包,然后放到hadoop集群上运行,出现如下错误:St...
1

回答

2017.10.08 11:18来自 xiaoyaoailili

linux突然出现问题,请大神赐教

![![图片说明](https://img-ask.csdn.net/upload/201710/08/1507461435_937344.png)图片说明](https://img-ask.csdn.net/up...
0

回答

2017.09.22 03:25来自 stone@1024

spark.SparkContext Error initializingSparkContext.

17/09/22 11:07:06 ERROR inject.Errors: The following errors and warnings have been detected with resource a...
1

回答

2017.09.05 10:26来自 wangbing398 悬赏 5C 5 ¥

Hadoop中yarn 界面显示

yarn界面增加allocatedMB, allocatedVCores, and runningContainers三个字段,如何进行配置
0

回答