hadoop 并行计算基础问题

Question

我用3台计算机搭建个hadoop集群，1个Master，2个Slave，hadoop启动成功，但是跑hadoop自带的那个wordcount程序的时候，为什么只能在其中一个Slave上进行计算？而不是在两个Slave上并行计算。哪位大神能给点意见，非常感谢。

Answer 1

该回答引用ChatGPT

在Hadoop集群中并行计算的能力是由YARN（Yet Another Resource Negotiator）负责管理的。在您的情况下，似乎只有一个节点被分配了计算任务，这可能是由于多个节点之间的通信出现了问题。

---

您可以检查以下几个方面：

• 检查Hadoop的日志文件以查看是否有任何异常或错误消息。

• 检查Hadoop的配置文件，确保在yarn-site.xml中配置了正确的节点资源和配置。

• 确保每个节点都能够与其他节点进行通信。可以通过在不同节点上使用ping命令来测试。

• 确保每个节点上的Hadoop服务都已启动并正在运行。您可以通过在每个节点上运行jps命令来检查。

• 确保Hadoop的版本在所有节点上都相同，并且每个节点上的配置文件相同。

如果您已经检查了这些方面，但仍然遇到问题，请考虑在Hadoop的日志文件中查找更详细的错误消息，并尝试重新启动Hadoop集群。