为什么hadoop只有俩存活节点

Question

一开始hadoop启动后jps出来进程是完整的但是存活节点只有1个后面看了一下说是多个节点存放data数据的目录路径相同了，造成了报告中误认为只有一个datanode，于是通过命令查看live datanodes的个数时候，会发现节点全部启动，但是datanodes数目并不能正常显示，我给slave1从机试了一下发现可以，但是后面给slave2也试了一下发现存活节点一直没有slave2的

Answer 1

让 “紫雾凌寒” 来帮你回答,本回答结合 DeepSeek

如果还有问题，请评论或点击头像私信，如果有帮助到您, 请关注、采纳、点赞

1. 关键点分析：
   - Hadoop集群中DataNode节点存活数量异常，原本启动后进程完整但存活节点显示只有1个。
   - 原因是多个节点存放data数据的目录路径相同，导致NameNode误认只有一个DataNode。
2. 解决方案：
   - 检查并修改DataNode数据目录：
   • 登录到每个DataNode节点，查看其hadoop - datanode配置文件中dfs.datanode.data.dir参数配置的目录路径。例如，在hadoop - datanode - site.xml文件中：
     xml <configuration> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/data</value> </property> </configuration>
   • 确保每个DataNode的该目录路径是唯一的。如果有路径相同的情况，需要修改其中一个或多个节点的路径。
   • 重启DataNode服务：
   • 修改完路径后，在每个DataNode节点上执行以下命令重启DataNode服务：
     bash sudo service hadoop - datanode restart
   • 验证DataNode状态：
   • 登录到NameNode节点，使用命令hdfs dfsadmin -report查看DataNode状态。正常情况下，应该能看到所有正确配置且路径唯一的DataNode节点都处于正常状态，例如：
     Name: 192.168.1.101:50010 (datanode1) Hostname: datanode1 Decommission Status : Normal Configured Capacity: 107374182400 (100.0 GB) DFS Used: 0 (0 B) Non DFS Used: 24503232 (23.37 MB) DFS Remaining: 107349679104 (99.98 GB) DFS Used%: 0.00% DFS Remaining%: 99.98% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: Unknown Last contact: Wed Aug 04 16:23:33 CST 2021 Last Block Report: Wed Aug 04 16:23:33 CST 2021
3. 多种解决方案分析：
   - 优点：
   • 这种手动检查和修改路径的方式简单直接，容易理解和操作。对于熟悉Hadoop配置文件的运维人员来说，能够快速定位和解决问题。
   • 缺点：
   • 如果集群规模较大，手动逐个检查和修改每个DataNode的路径会比较繁琐，容易出错。
4. 总结：
   - 多个DataNode数据目录路径相同会导致NameNode对DataNode存活状态的误判。通过检查并确保每个DataNode的dfs.datanode.data.dir路径唯一，然后重启DataNode服务，能够解决DataNode存活节点数量异常的问题，使Hadoop集群正常运行。

希望以上解答对您有所帮助。如果您有任何疑问，欢迎在评论区提出。