伪分布式下的hadoop在yarn上运行单词计数一直卡在 map 0%, reduce 0%

把单词计数任务提交给yarn,最后卡在0%停止了,看了日志好像是map内存不足了,应该改哪个地方的配置啊 ? 环境是在虚拟机上的伪分布式,环境 Centos6, Hadoop-2.7.4
图片说明
话说怎么把图片隔开啊 ?
图片说明
话说怎么把图片隔开啊 ?
图片说明
话说怎么把图片隔开啊 ?
图片说明

下面是我的配置文件,由于之前大量百度过,跟原始的有所更改
mapred-site.xml
图片说明

yarn-site.xml
图片说明

好几天了,一直解决不了 ? 因为没有机器所以先搭一个伪分布式玩玩,哪位大神若能不吝赐教 ? 感激不尽

1个回答

我没碰到过这个问题,自己试着玩,一直用的最简配置

mapred-site.xml

 <configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

 <configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

FlyAngle1
我是一只小小小小小鸟 input输入太大吗
接近 3 年之前 回复
u013373739
土突突 回复我是一只小小小小小鸟: 我类娘类,真邪门,我按照官网配置nodemanager根本起不来,好不容易配置起来了,运行wordcount运行不了,导出百度未果,感觉要放弃了
接近 3 年之前 回复
FlyAngle1
我是一只小小小小小鸟 回复我是一只小小小小小鸟: g的时候也能跑
接近 3 年之前 回复
FlyAngle1
我是一只小小小小小鸟 处理器1个,两核,内存3g,不过我1
接近 3 年之前 回复
u013373739
土突突 回复我是一只小小小小小鸟: 你机器内存和CPU是多少 ?
接近 3 年之前 回复
FlyAngle1
我是一只小小小小小鸟 回复土突突: 嗯,伪分布,也是2.7.4
接近 3 年之前 回复
u013373739
土突突 你的hadoop版本是多少 ? 是伪分布式吗 ?
接近 3 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐