贩卖二手梦. 2021-10-13 00:50 采纳率: 50%
浏览 154
已结题

在搭建hadoop集群时没有启动了有datanode但是在jps时没有

错误信息如下:
2021-10-12 16:31:11,411 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/tmp/hadoop-hadoop/dfs/data
java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-78658b6d-dfb8-4699-ab91-c5901f9db32f; datanode clusterID = CID-3e049366-6124-4bb4-8bcd-cc0c7c112081
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:744)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:294)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:407)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:387)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:559)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1748)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1684)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:392)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:282)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:829)
at java.lang.Thread.run(Thread.java:748)
2021-10-12 16:31:11,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid 0893d4f5-2f05-4060-b859-f27985ad3169) service to hadoop1/192.168.13.129:9000. Exiting.
java.io.IOException: All specified directories have failed to load.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:560)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1748)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1684)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:392)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:282)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:829)
at java.lang.Thread.run(Thread.java:748)
2021-10-12 16:31:11,413 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool (Datanode Uuid 0893d4f5-2f05-4060-b859-f27985ad3169) service to hadoop1/192.168.13.129:9000

  • 写回答

1条回答 默认 最新

  • syyyyyyyyyyyyyyh 2021-10-13 09:21
    关注

    是格式化了两次 nameNode嘛，导致dataNode中存储的nameNode的clusterID与nameNode本身的不符。
    去这个路径下 /opt/hadoop/tmp/hadoop-hadoop/dfs/data/current 修改VERSION文件
    clusterID如果等于CID-3e049366-6124-4bb4-8bcd-cc0c7c112081就换成CID-78658b6d-dfb8-4699-ab91-c5901f9db32f

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 10月23日
  • 已采纳回答 10月15日
  • 创建了问题 10月13日

悬赏问题

  • ¥15 求daily translation（DT）偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的？
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机
  • ¥20 程序进入HardFault_Handler
  • ¥15 关于#python#的问题：自动化测试