start-all.sh启动hadoop集群为什么只能启动一个虚拟机

Question

集群搭建完成后，start-all.sh启动hadoop集群为什么只能启动一个虚拟机，只有hadoop1有进程，2和3没有

Answer 1

遇到 start-all.sh 启动 Hadoop 集群时只有一台虚拟机启动的问题，可以按照以下步骤进行故障排除：

1. SSH免密登录：确保所有节点之间配置了SSH免密登录。这是集群启动的前提条件，因为 Hadoop 需要在各个节点之间无密码远程执行命令。可以通过测试 ssh 命令来验证是否能够无密码登录到其他节点。如果没有配置，需要生成SSH密钥并将其添加到各个节点的 ~/.ssh/authorized_keys 文件中。

2. 检查环境变量：确保 HADOOP_HOME 和 PATH 环境变量正确设置。如果环境变量未正确设置，start-all.sh 脚本可能无法找到 Hadoop 的可执行文件。可以通过编辑 .bashrc 或 /etc/profile 文件来设置环境变量，并使用 source 命令使其生效。

3. 检查日志文件：查看 Hadoop 的日志文件，通常位于 $HADOOP_HOME/logs/ 目录下。日志文件中可能包含启动失败的原因，比如配置错误、端口冲突等。

4. 使用 jps 命令检查进程：在主节点上执行 jps 命令，查看是否启动了 NameNode、DataNode、ResourceManager 等关键进程。如果缺少进程，说明启动有问题，需要进一步检查配置文件和日志。

5. 检查配置文件：确保 hdfs-site.xml、core-site.xml 和 yarn-site.xml 等配置文件中的设置正确，特别是关于节点地址和端口的配置。

6. 版本兼容性：从 Hadoop 2.x/3.x 版本开始，不推荐使用 start-all.sh 来启动整个 Hadoop 集群，因为这种方式可能会有警告，并且后续 Spark 启动命令也是 start-all.sh，所以建议使用 start-dfs.sh 和 start-yarn.sh 分别启动 HDFS 和 YARN 服务。

7. 自定义脚本启动：如果 start-all.sh 脚本不适用，可以考虑使用自定义脚本来启动集群，通过 SSH 远程执行 start-dfs.sh 和 start-yarn.sh 脚本。

按照上述步骤进行检查和调整，应该能够帮助你解决 Hadoop 集群启动的问题。如果问题依然存在，可能需要更详细的日志信息来进一步诊断。