hadoop执行wordcount报错。

Question

在centos7.5中部署hadoop3.1.3，执行wordcount程序，reduce阶段出现这样的错误。
我的三台服务器不在同一局域网下。

Answer 1

引自免费微信小程序：皆我百晓生

从提供的日志信息来看，错误信息是"Caused by:java.net.ConnectException:Connection refused"，即连接被拒绝。这可能是由于网络配置问题导致的。

为了解决这个问题，您可以尝试以下步骤：

1. 检查防火墙设置和网络配置：

• 确保防火墙已正确配置，允许Hadoop所需的端口上的流量通过。Hadoop使用的一些重要端口包括：
  • 50010: HDFS数据传输端口
  • 50020: HDFS的数据节点间通信端口
  • 10000: Hadoop的元数据服务端口
  • 8088: YARN资源管理器Web界面端口
  • 8030: YARN应用管理器端口
• 检查服务器之间的网络连接是否正常。确保服务器之间的网络配置正确，并且可以通过ping命令相互连通。

2. 检查Hadoop配置文件：

• 检查hadoop配置文件中的yarn-site.xml和core-site.xml。确保其中的配置项与实际网络配置相匹配。
• 确保yarn-site.xml中的yarn.resourcemanager.hostname配置项设置为资源管理器的实际主机名或IP地址。

如果以上步骤都正确并且问题仍然存在，您可以尝试以下进一步的排查方法：

3. 检查YARN的日志：

• 在YARN的日志文件中查找更多的错误信息。您可以在YARN的日志目录中找到这些文件，默认位置为${HADOOP_HOME}/logs/userlogs/{applicationId}/container_{containerId}目录。
• 检查应用程序的容器日志文件，查看是否有更多关于连接被拒绝的错误信息。

4. 检查HDFS状态：

• 检查HDFS状态，确保所有的DataNode都处于正常状态。您可以使用以下命令来检查HDFS状态：

  hdfs dfsadmin -report
  

如果您提供更多关于Hadoop配置和命令的信息，我可以更具体地帮助您解决这个问题。