ubuntu下配置hadoop环境 在 format namenode 时遇到的问题

前面的配置都按照教程配置好了,然后就在terminal里敲了 hdfs namenode -format,
然后就出现了这样的错误:
FATAL namenode.NameNode: Exception in namenode join
java.lang.NullPointerException
at java.io.File.(File.java:277)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.setStorageDirectories(NNStorage.java:300)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.(NNStorage.java:161)
at org.apache.hadoop.hdfs.server.namenode.FSImage.(FSImage.java:127)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:829)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1213)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)

后来 jps 发现 namenode没有启动, 试过删除 namenode 和 datanode 的文件夹,重新建文件夹,再格式化 namenode,还是没能解决。
请各位帮忙看看!

0

5个回答

0
wsygcxy_
wsygcxy_ 还是不行诶,而且博客里的报错和我的报错不一样。
一年多之前 回复
0
wsygcxy_
wsygcxy_ 应该不是权限的问题
一年多之前 回复

格式化之前只删除 tmp文件夹就好了,你删的是什么啊

0
wsygcxy_
wsygcxy_ 删除的是自己创建的储存 namenode 和 datanode 数据的文件夹
一年多之前 回复

解决了,是自己傻了,配置文件里少了一个斜杠

0

楼主解决了就太好了啊

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hadoop namenode format失败 或者无法执行的情况
在第一次启动hadoop集群的时候,如果不按照顺序来启动的时候,会出现datanode连接失败的情况。而且hdfs zkfc -formatZK这个命令在复制粘贴的时候,经常会发生变形,造成执行的语句出现意外。很奇怪他不会失败但是会出现执行异常的情况。所以一定要手动输入...
Hadoop 在格式化 namenode 时出现以下问题
Hadoop 在格式化 namenode 时出现以下问题: 转自:   http://www.oschina.net/question/815959_76093  格式化仍输出如下: hadoop@ubuntu :~$ hadoop namenode -format ^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_
hadoop namenode格式化问题汇总
hadoop namenode格式化问题汇总(持续更新)0 Hadoop集群环境3台rhel6.4,2个namenode+2个zkfc, 3个journalnode+zookeeper-server 组成一个最简单的HA集群方案。1) hdfs-site.xml配置如下: <!-- Quorum Journal Manager HA: http://archive.cloudera.com/
腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
腾讯云hadoop集群搭建步骤及注意的相关问题步骤: 防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】 配置完全分布式hadoop集群 namenode/ datanode 启动问题 1. 防火墙处理最直接的方式,关闭防火墙,简单省事。当然这也是笔者本人作为新手处理服务器比较简单粗暴的方式。sudo ufw disable2. 配置完全分布式hadoop集群集群的搭建详细步骤可参见3
HDFS(NameNode)联盟的搭建及原理的浅析
一、搭建HDFS联盟 1、为什么引入HDFS(NameNode)联盟? 引入Federation的最主要原因是简单,其简单性是与真正的分布式Namenode相比而言的。Federation能够快速的解决了大部分单Namenode HDFS的问题。 Federation是简单鲁棒的设计,由于联盟中各个Namenode之间是相互独立的。Federation整个核心设计实现大概用了3.5个月。大部...
hadoop中namenode格式化失败的解决
第一种: 如果有 第一次格式化后 产生了 tmp文件夹,先删除 /tmp/dfs/hadoop/name(可以直接把tmp文件夹删除),然后重新格式化 再执行 启动程序 start-all.sh 第二种: 如果格式化后没有生成 tmp 文件夹,把 /etc/hadoop/core-site.xml &amp;amp; /etc/hadoop/hdfs-site.xml 这两个文件...
Ubuntu17安装伪分布式Hadoop出现的问题与解决方法
由于自己第一次在Linux环境下安装Hadoop,所有安装方法均参照同行写的技术博客。 1 安装ssh,pdsh,生成密钥实现无密码登陆 官方文档推荐安装ssh和pdsh,则参照官方文档安装两者并生成密钥: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Ps...
hadoop伪分布式集群搭建遇到的问题
今天搭建伪分布式集群,遇到了一些问题: 1、在启动namenode以后,jps提示command not found。     解决: 将系统自带openJDK卸载,然后重新安装自己的jdk。 虽然hadoop的配置文件中用得是自己的,但是在命令行中是找得系统自带的jdk。(查阅资料:openJDK中/bin目录下没有jps这个命令) export JAVA_HOME=/usr/share/
Hadoop中nameNode无法启动的问题
**学会看日志** Incompatible clusterIDs in /media/F/hadoop/tmp/dfs/data: namenode clusterID = CID-319eb80a-7329-4f54-9e95-5d58fa6f5f01; datanode clusterID = CID-5300d232-c2e6-4314-a03b-079544c462f3 参考资料:h...
hadoop集群搭建过程中所遇问题总结
在搭建过程中遇到了些问题,个人认为不是很典型。
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
Hadoop格式化namenode失败
hadoop 2.7.1,Hadoop自动HA部署shell脚本
hadoop namenode配置以及问题处理
第一步:修改core-site.xml,配置如下内容: &amp;lt;?xml version=&quot;1.0&quot;?&amp;gt; &amp;lt;?xml-stylesheet type=&quot;text/xsl&quot; href=&quot;configuration.xsl&quot;?&amp;gt; &amp;lt;!-- Put site-specific property overrides in this file. --&amp;gt; &amp
学习hadoop遇到的问题(hadoop namenode -format 格式化失败及解决方案)
1. 使用命令hadoop namenode -format 对namenode进行格式化,报错如下所示: [hadoop@bj05-ops-photo04 bin]$ ./hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the h...
Hadoop namenode重新格式化需注意问题
hadoop重新格式化意味着集群的数据会被全部删除,格式化前需考虑数据备份或转移问题。格式化前需要进行一些特别的文件删除操作,否则将导致格式化后hadoop无法正常启动。
hadoop多次格式化namenode造成datanode无法启动问题解决
hadoop启动datanode失败,原因是由于namenode多次格式化造成
hadoop namenode -format格式化名称节点时出错
[hadoop@Master ~]$ hadoop namenode -format 14/02/04 23:49:36 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STA
hadoop namenode HA 高可用概念及配置说明
可以看到之前配置的完全分布式中只有一个nn节点,不能高可用。 在1x版本中存在这些问题: hdfs:nn单点故障,压力过大,内存受限,扩展受阻。 MapReduce(MR):jboTracker访问压力大,扩展受阻;难以支持MR以外的计算框架,如spark,storm等。 1.HA 高可用 hdfs ha :主备切换方式解决单点故障 hdfs Federation联邦:解决鸭梨过大...
解决更改hadoop核心配置文件后会出现DataNode,或者NameNode无法启动的问题
更改了core-site.xml文件内容后。。。重启发现DataNode无法启动: 之后百度了一下网上说的一般都是这两种方法:1.将datanode与namenode的/current 下VERSION等相应文件文件清除; 2.查看DataNode的log文件说是因为DataNode与NameNode的namespaceid不一样所导致,将version里的id··    改成一样的即可!
异常:安装完Hadoop之后,命令行输入hadoop却找不到命令的解决方法
大多数原因是没有配置环境变量解决方法 1. vim /etc/profile 2. 把这三条加到proflie文件的最后export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)export HADOOP_HOME=XXX(hadoop的安装路径)export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PA...
Hadoop中namenode无法启动
当启动hadoop时,其他进程都启动了,就namenode进程无法。 查看了日志,里面报错信息如下: 2017-09-14 10:46:01,164 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.io.FileNotFoundException: /usr/loca
在对HDFS格式化,执行hadoop namenode -format命令时
在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示:  [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /*******************************...
hadoop 多次格式化format namenode 导致节点不能启动解决
1.  具体配置     我用的是vmware配的虚拟机,一个master,2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动,出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法,有一些不同           https://stackoverflow.com/qu...
hadoop中的namenode进行格式化是什么意思?
只有namenode需要format, secondarynamenode和datanode不需要format。 类似于硬盘分区后以及新买的u盘需要格式化的问题, 因为硬盘,u盘以及hdfs一样都是一个文件系统, 所以使用前要格式化....
[完]Hadoop中DataNode在格式化Namenode后无法启动。
一般情况下,出现这个问题的原因是namenode和datanode的clusterID不一致。namenode每次格式化时,会更新clusterID,但是datanode只会在首次格式化时确定,因此就造成不一致现象。
Hadoop伪分布环境搭建namenode启动不了解决
近日在学习大数据,在本机安装了VMware上搭建伪分布环境时,执行./sbin/start-dfs.sh后,发现namenode服务没有启动,仔细看了下执行时报错:  Starting namenodes on [itcast01] itcast01: ssh: Could not resolve hostname itcast01: No address associated with
hadoop-2.4.1伪分布式搭建出现的namenode无法启动的问题
我把所有文件都配置成功了 ,进行hdfs namenode -format (hadoop namenode -format)是对namenode进行初始化也成功了,但是在启动HDFS(start-dfs.sh),出现了no route to host的错误提示,看了网上的解答大部分都是配置文件修改错误或者防火墙没有关闭,但是这两单我都没有错误。 后来可能想到了是ip和主机之间的映射可能出现错误
hadoop的一些环境变量配置及namenode无法启动问题解决
scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-env.sh  slaves mapred-site.xml.template yarn-site.xml hadoop2:/export/servers/hadoop/etc/hadoop[root@hadoop01 ~]# hadoop fs -put andy.txt /[root@ha...
hadoop格式化namenode问题
hadoop
配置Hadoop 伪分布式 _NameNode格式化问题_解决方案
【Ubuntu 16.04   Hadoop2.9.1】跟着厦大林子雨的实验指南配置伪分布式环境时出现了以下问题:在修改了/etc/hadoop/core-site.xml &amp;amp; /etc/hadoop/hdfs-site.xml后namenode -format时出现 Cannot create directory /Softwares/hadoop/tmp/dfs/name/curren...
解决Hadoop namenode无法启动以及修改hdfs的存放位置
重启之后,遇到了一个问题,执行start-all.sh之后,执行JPS发现namenode没有启动。 每次开机都得重新格式化一下namenode才可以。hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,但是在/tmp路径下的存储是不安全的,默认的/tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会
Hadoop学习笔记:无法启动NameNode以及免密码启动hadoop
前言  在Linux CentOS下安装好了hadoop-2.2.0 的64位版本,解决两个问题:一是解决nameNode无法启动,log文件抛如下异常: java.net.BindException: Problem binding to [xxx.xxx.xxx.xxx:9000] java.net.BindException: 无法指定被请求的地址; 二是ssh免密码登录,提示没有权限:
HDFS NameNode内存全景(详细)
一、概述 从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题逐渐暴露出来。所以,从更高层次掌握NameNode的内部结构和运行机制尤其重要。除特别说明外,本文基于社区版本Hadoop-2.4.1[1][2],虽然2.4....
Hadoop的DateNode在NameNode format之后不能启动问题
初学Hadoop,第一次启动之后jps查看进程,DateNode显示是启动状态,后因为文件配置有问题,我又把NameNode节点重置了,然后DateNode就启动不起来了。 这个问题网上有很多答案,也都说出了主要的问题是NameNode clusterID 和DateNode clusterID不相同,导致DateNode找不到节点启动不起来,然后去tmp下修改id就可以,但是我是小白
HDFS 文件操作命令格式与注意事项
一、HDFS 文件操作命令格式与注意事项 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小。 HDFS 的基本命令格式如下: bin/hadoop dfs–cmd 这里cmd 就是具体的命令,记住cmd
Liunx搭建Hadoop集群,找不到NameNode问题分析,以及解决. (hadoop-2.7.4版本,没有进行jre进行重新修改源码)
此文章针对 搭建Hadoop集群搭建之后输入指令找不到NameNote就会非常尴尬,好不容易搭建的集群,最后还是不成功,此时分析步骤; 一: 检查当前日志文件输出log日志是否正常,如果NameNote都没有肯定是报错的. 二: 最大的一部分可能就是踩坑了,这个坑非常好踩. 1.1: 查看当前配置文件,是否正常,以及关联的子服务器,配置是否一样. 1.2: 查看保存文件的路径,也就是如图所示,是...
每次启动hadoop都要格式化namenode?
前面配置好hadoop后,在使用中发现一个问题。就是每次启动都需要格式化,不然namenode就无法启动。 在网上找到了相应的解决方法http://blog.csdn.net/bychjzh/article/details/7830508 内容如下:   最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下
hadoop格式化(hadoop format)的注意事项
格式化命令: 关于hdfs的格式化 首次启动需要进行格式化 格式化本质是进行文件系统的初始化操作 创建一些自己所需要的文件 格式化之后 集群启动成功 后续再也不要进行格式化 格式化的操作在hdfs集群的主角色(namenode)所在机器上操作 hdfs namenode–format hadoop namenode –format 格式化后返回的信息 DEPRECATE...
hadoop集群的namenode无法启动
1、首先namenode无法启动,第一时间查看日志,看看具体是什么原因。2、namenode无法启动,主要还是配置文件的错误,其次就是用户权限的问题。3、日志错误如下:2018-06-02 23:57:20,316 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: /************************...
三台centOS搭建hadoop集群系统,把我遇到的坑都写下来
不分顺序 1,按照网上资料博客等配置完各种文件之后,启动namenode报错 ulimit -a for user root 这里我们直接重新格式化namenode,然后启动namenode就可以了 hadoop namenode -format 2,当我们将三台虚拟机按照桥接的方式来进行网络连接时,要在windows以及linux中的hosts文件中加入IP与主机名的...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 学习python时遇到的问题 大数据学习遇到的问题