寡丶人 2021-10-27 15:54 采纳率: 0%
浏览 49

腾讯云服务器安装hadoop3.2.1,运行wordcount报错,YarnChild链接不到MRAppMaster服务器

运行自带的wordcount程序偶发性报错,有时候可以,有时候不可以,有谁遇到过这个情况吗?
一、集群有四台腾讯云服务器:
master
slave1
slave2
slave3
二、每台服务器,/etc/hosts本机配置内网IP,其他配置外网IP
三、;看了日志要是YarnChild和MRAppMaster在一台机器就能运行成功,要是YarnChild和MRAppMaster不是分配上一台机器上就会失败;日报报错是YarnChild连接不上MRAppMaster服务器(很奇怪YarnChild节点访问MRAppMaster节点的内网IP,应该是访问外网IP,图中的地址是MRAppMaster节点的内网IP)。我已经设置了可以通过域名访问,但是错误日志里面也有没有看到域名的替换。

img

    <property>
        <name>dfs.datanode.use.datanode.hostname</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
        <description>only cofig in clients</description>
    </property>

  • 写回答

5条回答 默认 最新

  • 涤生大数据 领域专家: 大数据技术领域 2021-10-27 17:46
    关注

    四台小集群,为啥不用cdh搭建,cm管理很香。这个问题是节点配置的网络有问题,通信异常。

    评论

报告相同问题?

问题事件

  • 创建了问题 10月27日