贩卖二手梦. 2021-10-13 00:50 采纳率: 50%
浏览 154
已结题

在搭建hadoop集群时没有启动了有datanode但是在jps时没有

错误信息如下:
2021-10-12 16:31:11,411 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/tmp/hadoop-hadoop/dfs/data
java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-78658b6d-dfb8-4699-ab91-c5901f9db32f; datanode clusterID = CID-3e049366-6124-4bb4-8bcd-cc0c7c112081
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:744)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:294)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:407)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:387)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:559)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1748)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1684)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:392)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:282)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:829)
at java.lang.Thread.run(Thread.java:748)
2021-10-12 16:31:11,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid 0893d4f5-2f05-4060-b859-f27985ad3169) service to hadoop1/192.168.13.129:9000. Exiting.
java.io.IOException: All specified directories have failed to load.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:560)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1748)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1684)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:392)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:282)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:829)
at java.lang.Thread.run(Thread.java:748)
2021-10-12 16:31:11,413 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool (Datanode Uuid 0893d4f5-2f05-4060-b859-f27985ad3169) service to hadoop1/192.168.13.129:9000

  • 写回答

1条回答 默认 最新

  • syyyyyyyyyyyyyyh 2021-10-13 09:21
    关注

    是格式化了两次 nameNode嘛，导致dataNode中存储的nameNode的clusterID与nameNode本身的不符。
    去这个路径下 /opt/hadoop/tmp/hadoop-hadoop/dfs/data/current 修改VERSION文件
    clusterID如果等于CID-3e049366-6124-4bb4-8bcd-cc0c7c112081就换成CID-78658b6d-dfb8-4699-ab91-c5901f9db32f

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 10月23日
  • 已采纳回答 10月15日
  • 创建了问题 10月13日

悬赏问题

  • ¥15 Stata链式中介效应代码修改
  • ¥15 latex投稿显示click download
  • ¥15 请问读取环境变量文件失败是什么原因？
  • ¥15 在若依框架下实现人脸识别
  • ¥15 网络科学导论，网络控制
  • ¥100 安卓tv程序连接SQLSERVER2008问题
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比，为什么Snetinel-2计算的结果最小值特别小，而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据，如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错