hadoop2.7.2搭建分布式环境,格式化后,namenode没启动成功

第一步:执行hadoop namenode -formate

STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41; compiled by 'jenkins' on 2016-01-26T00:08Z
STARTUP_MSG: java = 1.7.0_76
************************************************************/
16/08/02 04:26:16 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
16/08/02 04:26:16 INFO namenode.NameNode: createNameNode [-formate]
Usage: java NameNode [-backup] |
[-checkpoint] |
[-format [-clusterid cid ] [-force] [-nonInteractive] ] |
[-upgrade [-clusterid cid] [-renameReserved] ] |
[-upgradeOnly [-clusterid cid] [-renameReserved] ] |
[-rollback] |
[-rollingUpgrade ] |
[-finalize] |
[-importCheckpoint] |
[-initializeSharedEdits] |
[-bootstrapStandby] |
[-recover [ -force] ] |
[-metadataVersion ] ]

16/08/02 04:26:16 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.234.100

第二步:执行start-all.sh 结果如下:

[root@master sbin]# sh start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
16/08/02 05:45:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [master]
master: starting namenode, logging to /usr/hadoop/hadoop-2.7.2/logs/hadoop-root-namenode-master.out
slave2: starting datanode, logging to /usr/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-slave2.out
slave3: starting datanode, logging to /usr/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-slave3.out
slave1: starting datanode, logging to /usr/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-slave1.out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to /usr/hadoop/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-master.out
16/08/02 05:46:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /usr/hadoop/hadoop-2.7.2/logs/yarn-root-resourcemanager-master.out
slave2: starting nodemanager, logging to /usr/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-slave2.out
slave3: starting nodemanager, logging to /usr/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-slave3.out
slave1: starting nodemanager, logging to /usr/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-slave1.out
[root@master sbin]# jps
2613 ResourceManager
2467 SecondaryNameNode
2684 Jps

namenode日志:
2016-08-02 05:49:49,910 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:225)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:584)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:644)
at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:811)
at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:795)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1488)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
2016-08-02 05:49:49,928 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50070
2016-08-02 05:49:49,928 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. Rechecking.
2016-08-02 05:49:49,930 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false
2016-08-02 05:49:49,934 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2016-08-02 05:49:49,935 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2016-08-02 05:49:49,935 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2016-08-02 05:49:49,935 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:225)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:584)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:644)
at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:811)
at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:795)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1488)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
2016-08-02 05:49:49,949 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2016-08-02 05:49:49,961 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.234.100

0

6个回答

core-site.xml 配置如下:


fs.defaultFS
hdfs://master:9000

<property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/hadoop/hadoop-2.7.2/tmp</value>

</property>

0

hdfs-site.xml 配置如下:

dfs.replication1

dfs.namenode.secondary.http-address
master:9001

0

图片说明

0

图片说明

0

图片说明

0

第一步就有问题

hadoop namenode -formate

这条指令 建议你在linux上重新打一下, 那个 - 有的时候 复制粘贴不对。
这条指令对的话 会在倒数几行看见一个succeed什么的,
后面的问题我也在解决。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hadoop-2.4.1伪分布式搭建出现的namenode无法启动的问题
我把所有文件都配置成功了 ,进行hdfs namenode -format (hadoop namenode -format)是对namenode进行初始化也成功了,但是在启动HDFS(start-dfs.sh),出现了no route to host的错误提示,看了网上的解答大部分都是配置文件修改错误或者防火墙没有关闭,但是这两单我都没有错误。 后来可能想到了是ip和主机之间的映射可能出现错误
Hadoop 2.7.x NameNode重新格式化后导致DataNode无法启动问题
Hadoop 2.7.x伪分布式运行环境下,由于NameNode重新格式化后,导致DataNode无法正常启动。本文总结了此问题的解决方法和思路,供个人参考。
Hadoop HA 高可用集群格式化NameNode后启动没有DataNode
笔者在搭建好Hadoop HA 高可用集群启动时报错后采用格式化NameNode后,再次启动没有DataNode,后面是3种解决方案。 报错信息: 2018-08-24 11:29:43,322 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs...
hadoop namenode format失败 或者无法执行的情况
在第一次启动hadoop集群的时候,如果不按照顺序来启动的时候,会出现datanode连接失败的情况。而且hdfs zkfc -formatZK这个命令在复制粘贴的时候,经常会发生变形,造成执行的语句出现意外。很奇怪他不会失败但是会出现执行异常的情况。所以一定要手动输入...
解决Hadoop伪分布式下,namenode无法启动的问题
启动Hadoop时,出现无法启动namenode的情况,查看日志后提示如下错误: Error: Gap in transactions. Expected to be able to read up until at least txid 6175405 but unable to find any edit logs containing txid 6175405 java.io.IOExce...
namenode格式化遇到的几个问题
1、Call From node1/192.168.245.151 to node6:8485 failed on connection 8485端口是journalnode的端口, 就是说连接不上journalnode,所以在几个journalnode节点分别执行hadoop-daemon.sh start journalnode打开即可 2、启动Hbase时Hmaster进程报错: org.a...
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
Hadoop伪分布环境搭建namenode启动不了解决
近日在学习大数据,在本机安装了VMware上搭建伪分布环境时,执行./sbin/start-dfs.sh后,发现namenode服务没有启动,仔细看了下执行时报错:  Starting namenodes on [itcast01] itcast01: ssh: Could not resolve hostname itcast01: No address associated with
[完]Hadoop中DataNode在格式化Namenode后无法启动。
一般情况下,出现这个问题的原因是namenode和datanode的clusterID不一致。namenode每次格式化时,会更新clusterID,但是datanode只会在首次格式化时确定,因此就造成不一致现象。
集群启动使用Hadoop,运行后没有NameNode节点
集群启动Hadoop后,运行后有SecondNameNode和dataNode,但是没有NameNode节点?解决方法:1、先运行stop-all.sh 2、运行hadoop namenode -format 3、运行start-all.sh
【问题】多次格式化namenode导致节点无法启动问题
多次对namenode进行格式化导致节点无法启动的解决   多次格式化namenode造成了namenode和datanode的clusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定,因此就造成不一致现象。 这里提供了两种解决办法: 1.打开core-site.xml文件里面配置的目录 打开namenode 对应的current...
大数据学习之路1-hdfs集群安装-参数配置-namenode格式化--手动启动
1.将hadoop解压 2.修改配置文件    首先了解一下hadoop包中的目录文件都是干嘛的:       hadoop-env.sh:        再配置下一个文件之前,先想清楚逻辑:     namenode需要存储元数据的目录,这样namenode就可以知道文件存储到哪了。     datanode需要存储从元数据中拆分出来的文件块的目录,可是datanode怎么才...
hadoop多次格式化namenode造成datanode无法启动问题解决
hadoop启动datanode失败,原因是由于namenode多次格式化造成
启动namenode的时候没有启动secondarynamenode
这篇文章是在不同的机器上配置namenode和secondarynamenode出现的问题。 对于配置文件的写法,可以参考我的这一片文章:https://blog.csdn.net/qq_37076742/article/details/83104395 我出现的问题是在配置有namenode机器上输入start-dfs.sh命令的时候,过一会儿就会一直阻塞在那里,而其它的机器datanode...
hadoop伪分布式下无法启动NameNode或者DataNode的问题的解决方法
哪个启动不起来就查看哪个的日志,查看日志里哪个地方出错针对解决,网上有很多方法,要注意看是不是和自己情况一样。 namenode无法启动的情况: 进入logs目录,查看namenoded的日志 看了日志发现配置8088端口后面多个空格    datanode无法启动启动的情况: 进入logs目录,查看datanoded的日志 查看以后发现是配置50070的地方有错 删除...
hadoop集群启动namenode成功,而datanode未启动!
hadoop集群启动namenode成功,而datanode未启动!
CDH5.12.1启动HDFS失败 namenode无法启动(namenode格式化失败)
在页面启动HDFS失败,显示日志和下面用命令启动显示日志一样  NameNode is not formatted. 使用命令# sudo -u hdfs hdfs namenode -format格式化成功  
Hadoop格式化namenode失败
hadoop 2.7.1,Hadoop自动HA部署shell脚本
Hadoop2.7.3完全分布式集群搭建和测试
这几天在学习Hadoop相关的东西,前些时候,搭建了单机和伪分布式的集群。但是在搭建完全分布式集群的时候遇到很多问题,网上找到很多文章,感觉都有些差别,因此,再次汇总一下,把我的详细的搭建过程记录下来。 参考了很多篇文章:http://www.w2bc.com/Article/19645                                 http://blog.csdn.net/
hadoop 多次格式化format namenode 导致节点不能启动解决
1.  具体配置     我用的是vmware配的虚拟机,一个master,2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动,出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法,有一些不同           https://stackoverflow.com/qu...
hadoop中的namenode进行格式化是什么意思?
只有namenode需要format, secondarynamenode和datanode不需要format。 类似于硬盘分区后以及新买的u盘需要格式化的问题, 因为硬盘,u盘以及hdfs一样都是一个文件系统, 所以使用前要格式化....
hadoop 无法启动namenode (两个都无法启动)
 问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失         于是我们得重新配置一个tmp文件目录         首先在home目录下建立一个hadoop_tmp目录                 sudo mkdir ~/hadoop_tmp         然后修改hadoop/conf目录里面的core-site.xml文件,...
彷徨 | 执行start-dfs.sh后,namenode正常启动 , datenode没有启动
解决启动集群后namenode正常显示,datanode却没启动的问题 启动Hadoop2.8.3集群后,遇到namenode启动 , 但是datanode进程没启动,查看日志发现如下报错: java.io.IOException: Incompatible clusterIDs in /home/casliyang/hadoop2/hadoop-2.2.0/metadata/data: na...
每次启动hadoop都要格式化namenode?
前面配置好hadoop后,在使用中发现一个问题。就是每次启动都需要格式化,不然namenode就无法启动。 在网上找到了相应的解决方法http://blog.csdn.net/bychjzh/article/details/7830508 内容如下:   最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下
namenode没有启动
在进行远程debug时,误将datanode 的 debug也在namenode上面启动了 结果反复重启hadoop,和重启centos后没用 于是把tmp下,hdfs文件存储路径下东西关于datanode东西全删了,也没有用 于是hadoop namenode -format,没有格式化解决不了的问题 重启后发现datanode出现了 这是错误日志 2017-11-20 07:54:
hadoop1.2.1 伪分布式搭建后,无法启动namenode(jps中没有namenode),localhost:50070无法访问的解决。
题注
hadoop多次格式化后出现datanode无法正常启动的解决办法
hadoop 多次执行命令: hadoop namenode -format后,发现再次启动hadoop后,datanode节点无法正常启动,出现错误代码如下:
hadoop Yarn 搭建集群时错误 主节点 NameNode 没有启动成功
执行start-dfs.sh 发现namenode没有启动成功,查看日志后发现如下错误 2016-01-17 14:32:11,562 INFO org.apache.hadoop.util.GSet: Computing capacity for map NameNodeRetryCache 2016-01-17 14:32:11,562 INFO org.apache.hadoop.
Hadoop中namenode无法启动
当启动hadoop时,其他进程都启动了,就namenode进程无法。 查看了日志,里面报错信息如下: 2017-09-14 10:46:01,164 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.io.FileNotFoundException: /usr/loca
hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
最近学习hadoop集群,在配置好集群文件通过start-all.sh启动hadoop,然后jps查看进程,正常情况下会看到 [root@master sbin]# jps 5694 SecondaryNameNode 6070 Jps 5384 NameNode 5527 DataNode 5848 ResourceManager 59
hadoop集群启动后,发现所有进程都在,唯独没有master节点的namenode进程
这个时候,去logs/目录下查看日志 cat hadoop-had_user-namenode-master.log 得到结果: java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 18 查了一下,说是namenode元数据损坏 然后就stop-...
centos7 搭建Hadoop 50070端口无法开启及jps查看datanode已启动namenode查不到
CDH 镜像地址       apach官方镜像地址 按需选择下载安装 最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。  配置内容及流程如下: Configuration Use the following: 0:安装jdk并配置hadoop-env.sh的JAVA_HOME 必须在hadoop-...
Hadoop2.7.2之集群搭建(单机)
首先新建一台虚拟主机,如果你还不会请参考 Vm配置安装CentOS-7-Minimal 然后安装JAVA运行环境,如果你还不会请参考 CentOS7 安装 Java 8 以及Tomcat8 开始配置Hadoop2.7.2 单机模式: 参考:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/Sing
因为多次namenode格式化导致hdfs只有Namenode启动
今天启动hdfs时hdfs namenode -format了一下,导致再次启动时datanode都没动静,查看日志如下: 2018-08-30 10:22:59,831 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/h...
如何判定hadoop的hdfs是否格式化成功?
17/07/07 21:01:12 INFO common.Storage: Storage directory /usr/hadoop-2.6.0/hadoop-root/dfs/name has been successfully formatted. 17/07/07 21:01:12 INFO namenode.NNStorageRetentionManager: Going to re
Hadoop伪分布式安装,出现DataNode节点无法正常启动
转自love666666shen 1. 环境描述: 虚拟机12.0,Ubuntu 14.04,伪分布式安装Hadoop2.6。 2. 问题描述: 多次格式化文件系统时,会出现datanode无法启动。如下图: 3. 问题产生原因: 执行文件系统格式化时(即执行命令$ bin/hadoop n
配置Hadoop 伪分布式 _NameNode格式化问题_解决方案
【Ubuntu 16.04   Hadoop2.9.1】跟着厦大林子雨的实验指南配置伪分布式环境时出现了以下问题:在修改了/etc/hadoop/core-site.xml &amp;amp; /etc/hadoop/hdfs-site.xml后namenode -format时出现 Cannot create directory /Softwares/hadoop/tmp/dfs/name/curren...
启动Hadoop集群失败,LiveNode 0
安装好Hadoop集群的NameNode和DataNode,并配置好路径。在终端中输入命令:start-all.sh。,发现出现下面界面: 看起来集群似乎已经启动起来了,然而,打开master:50070发现,Live Node为0。多次调试之后发现,系统在一开始确实是启动了。但是随着时间流逝,节点死亡了。(通过jps命令来查看),产生这种问题的原因分析如下: 1)防火墙设置问题: ==
Hadoop集群中启动namenode失败的解决办法
本hadoop集群规划为2台机器做namenode:       最近遇到了一个问题,执行start-dfs.sh的时候,在第一台机器上JPS发现namenode已经启动,可第二台的namenode没有启动。后来,在网上找了一下解决办法,发现是tmp文件夹的问题。具体配置如下         首先在home目录下建立一个目录                 sudo mkdir tmp
jps后发现namenode 没有启动
查看log后: 2017-09-29 12:44:51,880 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. java.lang.NumberFormatException: For input string: "7*24*60" at java.l
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 搭建python环境教程 培训后成功转职产品经理