关于hadoop启动的一个问题

启动所有服务之后http://localhost:50030 (MapReduce的Web页面)可以访问,但是
http://localhost:50070 (HDfS的web页面)访问出错

0

1个回答

HDFS启动错误,发一下日志来看看

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
98道常见Hadoop面试题及答案解析
刚发现一篇不错的hadoop测试题及答案解析,一共有98道题。应该是98道题目,我数了好几遍,不会错! 题目种类挺多,难度适中,对于想检测hadoop实力的朋友来说,应该是个不错的选择!(我觉得能答对90道的就很厉害了!!!)
虚拟机部署hadoop遇到问题总结
部署hadoop参考文件:http://www.powerxing.com/install-hadoop/1、报错:/etc/sudoers is world writable 原因修改过/etc/sudoers文件后使用sudo会报该错 解决方法: 执行:pkexec chmod 555 /etc/sudoers 2、centos7 mini系统安装hadoop后,也正常启动服务,通过wi
关于配置伪分布hadoop无法启动datanode的解决
首先我看查看datanode的启动日志$HADOOP_HOME/logs/              vi logs/hadoop-root-datanode-master.out查看datanode的启动日志 ava.io.IOException: Incompatible clusterIDs in /opt/data/hadoop/hdfs/data: namenode clusterID
Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案需求:实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题。方案描述:当namenode所在服务器宕机的时候,我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。1.  Hadoop本身提供了可利用secondarynamenode的备份数据来恢复namenode的元数据的方案,但因为chec...
Hadoop NameNode和DataNode只能启动一个问题
DataNode和NameNode进程不能共存 启动NameNode可以正常启动,但是启动DataNode时发现,NameNode进程不存在了,导致两个无法共存, 问题原因 NameNode在format初始化后会生成claserId(集群id),在没有关闭进程或删除原有DataNode信息的情况下, 再次格式化NameNode,生成的clusterId不同,所以导致两个不能对应上。 解决办法 ...
hadoop 节点链接不通、datanode无法启动问题解决
datanode启动失败很可能是节点连通问题 一般来说,节点之间链接失败不外乎以下几个错误:1、之前配置过ssh,信任hosts冲突删除 ~/.ssh/konwn_host 文件# rm /root/.ssh/konwn_host因为保不齐有其他问题,实际推荐的是删除.ssh下的所有内容,然后ssh-keygen重新生成rm -rf /root/.ssh/*2、防火墙未关闭CentOS 7开始改用
Hadoop作业调度
1)先进先出调度器(FIFO) 2)公平调度器(FairScheduler) 3)容量调度器(CapacityScheduler)FIFO调度器 1)FIFO调度器是hadoop中默认的调度器,它先遵循高优先级优先,然互按照作业到来的顺序进行调度 2)这种默认的调度器的一个缺点是:高优先级以及需要长时间运行的作业一直在被处理,而低优先级以及短作业将长时间得不到调度FairScheduler(
hadoop集群start-all以后只有一个datanode
在配置了两个从节点以后 在第二天打开虚拟机的时候发现只启动了一个datanode 在修改了spaceid以后还是启动不起来 在node2中 bin/hadoop-daemon.sh start  datanode bin/hadoop-daemon.sh start tasktracker 没有如何报错 而且再次输入bin/hadoop-daemon.sh start  datanod
关于hadoop在搭建HA架构时,standby出现启动不了的问题
一、查看standby机器中如下log: hadoop-hadoop-namenode-hadoop2.log 2018-11-09 12:59:41,269 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:  /*************************************************...
hadoop datanode部分启动不了
整体组织为一个master,三个slave master:namenode ,jobtracker,secondarynamenode slave:datanode,tasktracker 在master上执行start-all.sh在master:50070上可以看到只有两个datanode存活 然后在没启动成功的datanode上单独启动,再在master:50070上发现新启动的上去
hadoop多次格式化后出现datanode无法正常启动的解决办法
hadoop 多次执行命令: hadoop namenode -format后,发现再次启动hadoop后,datanode节点无法正常启动,出现错误代码如下:
Hadoop环境搭建中遇到的问题
简单说一下这几天搭建开源的Hadoop环境时遇到的问题吧!至于安装的过程,按照书上的一步一步配置就可以了,只要细心一点,没有什么问题。 一、linux操作系统的选择:       一般选择用centos、redhat和ubuntu,我推荐用centos。     redhat:因为付费之后有售后的,公司选用的比较多,当然也有破解版也很容易下载,我在最早的时候学习linux,用的就是redha...
群起hadoop集群脚本(开启,关闭)
通过执行shell脚本语句,实现群起hadoop集群 1.start.sh #!bin/bash echo "=======================正在开启集群服务======================" echo "=======================正在开启NameNode节点==================" ssh admin@hadoop-senior...
关于hadoop3搭建的一些问题的解决
hadoop3完全分布式搭建可参照:https://blog.csdn.net/qq_33931272/article/details/79884656一些问题:1、ssh条件:1)注意关闭防火墙;2)注意.ssh文件的权限;3)注意.ssh文件是在hadoop下生成的,而不是root下4)静态的IP地址2、关于hadoop3的配置1、如果jdk用的是9以上需要在配置的配置 yarn-env.sh...
关于hadoop集群启动后,localhost/50070和localhost:50070的问题
今天搭建的hadoop集群,正常hadoop namenode -format之后,用start-all.sh一键启动后,发现本地的站点localhost:50070和localhost:8088怎么也打不开,尝试数次后,发现是自己的习惯所致,正常站点为localhost:50070,我输入的是localhost/50070,特此记录下。 ...
hadoop常见问题汇总
本文汇总了几个hadoop yarn中常见问题以及解决方案,注意,本文介绍解决方案适用于hadoop 2.2.0以及以上版本。(1) 默认情况下,各个节点的负载不均衡(任务数目不同),有的节点很多任务在跑,有的没有任务,怎样让各个节点任务数目尽可能均衡呢?答: 默认情况下,资源调度器处于批调度模式下,即一个心跳会尽可能多的分配任务,这样,优先发送心跳过来的节点将会把任务领光(前提:任务数目远小于集...
hadoop集群中简单使用的脚本及问题
hadoop集群中简单使用的脚本及问题
100 道常见 Hadoop 面试题及答案解析
100 道常见 Hadoop 面试题及答案解析 目录 1 单选题 ...................................................................................................................... 5   1.1
hadoop测试题
单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份c)1 份d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动? a)SecondaryNam
hadoop2.5.2 启动成功后,用jps查看节点:发现少了DataNode
使用less ~/hadoop-2.5.2/logs/hadoop-zkpk-datanode-pxe01.log 查看日志得知: datanode的clusterID 和 namenode的clusterID 不匹配。解决办法:1.找到 ~/hadoopdata/dfs/name/current/VERSION 里的 clusterID 2.复制clusterID到各个没有启动的节点的~
搭建hadoop平台时遇到的问题及解决方法
笔者最近在搭建伪分布式hadoop平台的时候,遇到了一些问题,在解决了这些问题之后就将问题及解决方法记录了下来,以供参考。 出现的问题1 hadoop@daixiang-virtual-machine:/usr/local/hadoop/etc/hadoop$ start-dfs.sh Incorrect configuration: namenode address dfs.namenode
hadoop集群启动之后dataNode节点没有启动
启动Hadoop集群之后slave机器的dataNode节点没有启动 master机器的nameNode节点启动了 1、在集群/usr/local/src/hadoop/bin目录下./start-all.sh暂停所有服务 2、将/usr/local/src/hadoop/目录下的 logs、tmp文件夹删除(DataNode存放数据块的位置) 然后重新建立tmp  logs文件夹 3、重新
hadoop显示只有一个datanode启动
1.datanode无法启动: DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致,datanode无法启动   解决方法:将NameNode的clusterID复制到DataNode,顺便检查下各个storageID、datanodeUuid是不是不一样的(如果一样需要修改)...
hadoop-2.7.3搭建过程中遇到的问题及解决方案
20190507更新 问题:将hadoop-eclipse-plugin-2.X.X.jar拷贝到eclipse/plugins,重启eclipse后,在windows-preference下找不到Hadoop MapReduce选项 解决方案:将eclipse/configuration下的org.eclipse.update文件夹删除,该文件夹记录eclipse插件信息,默认设置中并不是每...
Hadoop(二)答辩问题+答案
--------------------------------------------------------------------------------------hadoop 常见问题:1.压缩的几种方式?怎么设置的?default gzip bzip2 lz0 snappy使用怎么设置?map端设置  reduce端即使MapReduce应用使用非压缩的数据来读取和写入,我们也可以受益...
阿里云ECS上搭建Hadoop集群环境——“启动Hadoop时,datanode没有被启动”问题的解决
地方
Hadoop单独启动/停止守护进程命令
分别启动守护进程: 1.启动namenode进程:       $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode 2.启动datanode进程:       $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo...
hadoop启动不正常问题解决
1、hadoop启动不正常 用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a、在服务器的终端命令行使用jps查看相关进程 (namenode1个节点   datanode3个节点   secondary namenode1个节点) b、如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因 1)配置文件出错,saxparse
hadoop启动集群后,没有datanode进程
jps没有DataNode,解决方法:1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程,如果有,kill -9 进程id2、rm -rf /data3、重新格式化 hdfs namenode -format4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh5、查看是否有DataNode,jps...
Hadoop datanode正常启动,但是Live nodes中却突然缺少节点
问题解决关键:多个节点存放data数据的目录路径相同了,造成了报告中误认为只有一个datanode,于是通过命令查看live datanodes的个数时候,会发现节点全部启动,但是datanodes数目并不能正常显示。解决办法:修改hdfs-site.xml文件master中的hdfs-site.xml文件 <property> <name>dfs.datanode.data.dir
hadoop启动服务命令
1,启动namenode和datanode  sbin/hadoop-daemon.sh start namenode     sbin/hadoop-daemon.sh start datanode2,启动yar服务sbin/yar-daemon.sh start resourcemanager  sbin/yar-daemon.sh start nodemanager3, 启动history服...
超详细Hadoop HA高可用集群搭建及常见问题处理
       最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。  1 ,  前期准备     1.0  ,  准备Linux环境。         安装vmware linux虚拟机,因为Centos 7 和Centos 6版本部分命令差别还挺多了,所以我本次用的Centos 6版本,用什么你随意,高兴就...
第二次启动datanode,集群不能正常启动
第一次启动时没有问题 第二次启动时会有文件残留 bin/hdfs namenode -format 产生一个新的namenode文件(id),就不认识以前的namenode了 导致集群不能正常启动 解决办法:在格式化之前,删除datanode里面的信息(默认在/tmp,如果配置该目录,就要去配置的目录下删除(hadoop-2.7.2/data/tmp/)) ...
Hadoop启动过程中,遇到ssh登录0.0.0.0的问题
Hadoop启动过程中,如果遇到手工ssh登录的问题,是因为之前没有配置0.0.0.0的免密登录。 解决方法: ssh-copy-id 0.0.0.0 #解决0.0.0.0的免密登录问题 ssh-copy-id master# 解决本身的免密登录问题(假设本机名为master)
去公司面试,记录下的hadoop最新面试题
转载自:hadoop面试题 1.简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 2.请列出正常工作的hadoop集群中hadoop都需要启动哪些进程,他们的作用分别是什么? 3.启动hadoop报如下错误,该如何解决? error  org.apache.hadoop.hdfs.server.namenode.NameNode  org.apa
hadoop集群一键自动启动和自动关闭shell脚本
一:一键启动集群脚本  start-cluster.sh           #!/bin/bash         echo "-------------------正在启动集群-------- "         echo "-------------------正在启动NameNode-------- "         ssh admin@hadoop102 '/opt/modul
Hadoop集群工作台查看日志报错问题及解决办法
我们在hadoop集群一般需要在工作台查看日志,但是工作台查看日志一般会出现以下情况: 上面的原因是由于yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下: 一、在yarn-site.xml文件中添加日志监控支持 该配置中添加下面的配置: &amp;lt;!-- 开启日志聚合 --&amp;gt; &amp;lt;property&amp;gt; ...
hadoop完全分布式遇到的问题总结
第一步、确保你的jdk、hadoop、SSH免密已经配置好了,开启2台以上的虚拟机,并且能正常上网(后面放大招啦) 第二部、配置/etc/hosts文件(如下格式) 192.168.244.128   hadoop02 192.168.244.129   hadoop03 192.168.244.130   hadoop04 第三步、配置hadoop/etc/hadoop下面的core.si...
HDFS高可用(HA)之ZKFC详解
对于NameNode的高可用可以简单分为共享editLog机制和ZKFC对NameNode状态的控制。有关共享editlog机制已经在上篇文章做了详述,感兴趣的朋友可以去看看。 这篇文章的重点放在ZKFC对于Namenode的控制上。 部署示意图 FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上...
Hadoop1.2.1详细配置与相关问题讲解
新手,折腾了一天,终于把HDFS配置好了,下面讲解所有流程以及我遇到的一些问题的解决方法。 配置环境准备 hadoop-1.2.1 --> HDFS 伪分布式配置 --> 1个NameNode节点,2个DateNode节点,1个SeconaryNode节点部署在3个虚拟机上 系统 --> VMWARE CentOS7.0(node1、node2、node3) 系统准备
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 关于大数据培训 关于云计算