一个hadoop问题

刚刚学习hadoop,搭建起集群在运行hadoop自带例子时报如下错误。请高手帮我解决下
hadoop jar c:/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount in/test.txt out 12/06/08 15:57:08 INFO input.FileInputFormat: Total input paths to process : 1 12/06/08 15:57:08 INFO mapred.JobClient: Running job: job_201206081518_0001 12/06/08 15:57:09 INFO mapred.JobClient: map 0% reduce 0% 12/06/08 15:57:18 INFO mapred.JobClient: map 100% reduce 0% 12/06/08 15:57:32 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_0, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:57:47 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_1, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_1 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_1/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:58:02 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_2, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_2 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_2/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:58:20 INFO mapred.JobClient: Job complete: job_201206081518_0001 12/06/08 15:58:20 INFO mapred.JobClient: Counters: 12 12/06/08 15:58:20 INFO mapred.JobClient: Job Counters 12/06/08 15:58:20 INFO mapred.JobClient: Launched reduce tasks=4 12/06/08 15:58:20 INFO mapred.JobClient: Launched map tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: Data-local map tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: Failed reduce tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: FileSystemCounters 12/06/08 15:58:21 INFO mapred.JobClient: HDFS_BYTES_READ=25 12/06/08 15:58:21 INFO mapred.JobClient: FILE_BYTES_WRITTEN=93 12/06/08 15:58:21 INFO mapred.JobClient: Map-Reduce Framework 12/06/08 15:58:21 INFO mapred.JobClient: Combine output records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map input records=2 12/06/08 15:58:21 INFO mapred.JobClient: Spilled Records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map output bytes=45 12/06/08 15:58:21 INFO mapred.JobClient: Combine input records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map output records=5
问题补充
我觉得是hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0/part-r-00000 at
master 大小写的问题。但是不知道在哪里改?

0

2个回答

能不能正常启动?或许是hdfs://MASTER:9000这个所在的xml格式或者其他地方有错误

0
haishuipaomian
haishuipaomian 问题已解决,core-site.xml里,我写的是master。写iP就对了
大约 7 年之前 回复

确定你的hadoop正常启动,如果是为分布式的话,用jps命令查看一下五个进程是否正常启动:
2407 Jps
1914 DataNode
1751 NameNode
2075 SecondaryNameNode
2290 TaskTracker
2139 JobTracker

在Hadoop中用于监控集群健康状态的Web界面,可以访问连接确保你的hadoop启动成功
http://localhost:50030/ – web UI for MapReduce job tracker(s)
http://localhost:50070/ – web UI for HDFS name node(s)

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Hadoop HA --- 网络原因/NN Full GC造成集群故障
Hadoop HA — 网络原因/NN Full GC造成集群故障1 问题描述简单描述一下问题,集群为Hadoop HDFS HA模式,三个节点104、105、106,由于三个节点的时间不同,以105时间为标准。2017-07-08 01:45分左右,集群出现故障。2 日志信息105 NN 日志如下: 105 DN日志如下: 104 JN日志如下: 105 JN日志如下: 106 JN日志如
【hadoop蜜汁问题解决】Multioutputs按照key输出多个文件
每当碰到一个很久都没有解决的bug时,总是开始怀疑人生,而且还各种百度不到,那就更加痛不欲生,尤其是这种大项目,看源代码太累了。 所以一旦解决了,一定要趁热乎的时候赶紧记录下来,不管用的是哪种谜一样的方法,好的,进入正题。 简而言之,我是想让mapreduce输出多个文件,按照key来输出文件,百度一下就可以发现很多说利用multioutputs类就可以解决,有些给了一点代码,不过很多都不靠谱
Hadoop多文件输出问题汇总
Hadoop多文件输出(1) Hadoop多文件输出(2)
hadoop案例之topK问题
海量数据中,查找topK问题的hadoop解法: 一个map task就是一个进程。有几个map task就有几个中间文件,有几个reduce task就有几个最终输出文件。 要找的top K 是指的全局的前K条数据,那么不管中间有几个map, reduce最终只能有一个reduce来汇总数据,输出top K。 思路和代码: 1. Mappers 使用默认的mapper数据,一个
Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案需求:实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题。方案描述:当namenode所在服务器宕机的时候,我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。1.  Hadoop本身提供了可利用secondarynamenode的备份数据来恢复namenode的元数据的方案,但因为chec...
hadoop完全分布式遇到的问题总结
第一步、确保你的jdk、hadoop、SSH免密已经配置好了,开启2台以上的虚拟机,并且能正常上网(后面放大招啦) 第二部、配置/etc/hosts文件(如下格式) 192.168.244.128   hadoop02 192.168.244.129   hadoop03 192.168.244.130   hadoop04 第三步、配置hadoop/etc/hadoop下面的core.si...
部署hadoop集群ha模式常见的问题,以及解决方案
1.      集群中的某个datanode无法启动。原因:可能是该节点的clusterId和master上的不一样了,修改clusterId和master一样的就行了。如下:在core-site.xml中找到配置的hadoop.tmp.dir,往下找/dfs/name/current下有个VERSION文件,打开如下:对比master上的clusterID,修改为mater上的ID就行了。2. ...
Hadoop开发过程中所遇到的那些坑
核心内容: 1、Hadoop开发过程中常见问题即解决方案 在Hadoop开发的过程中,我们总是遇到各种各样的问题,今天就整理总结一下: 万能的解决步骤:6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常,首先使用jps命令查看进程的启动是否正常,然后在去查看相关的日志文件,但是在查看相关日志之前,你可以先检查一下面几点: 1、防火墙原因:检查各个节点的防火墙是否关闭成
大数据开发面试部分:Hadoop 如何应对某些节点运行较慢的问题(大数据开发面试)
Hadoop 中通过拆分任务到多个节点运行来实现并行计算,但某些节点运行较慢会拖慢整个任务的运行,Hadoop  采用何种机制应对这个情况?   推测执行机制是 Hadoop 对“拖后腿”的任务的一种优化机制,当一个作业的某些任务运行速度明显慢于同作业的其他任务时,Hadoop 会在另一个节点 上为“慢任务”启动一个备份任务,这样两个任务同时处理一份数据,而 Hadoop 最终会将优先完成的那...
windows下hadoop需要安装所需执行文件
针对解决由一个HADOOP在window环境下,不可执行的问题
Hadoop绑定多网卡问题
Hadoop多网卡绑定Hadoop多网卡绑定 网络环境介绍 iptables介绍 详细操作配置 参考文章链接 Hadoop默认配置NameNode 运行 HDFS 协议的端口8020绑定的主机接口domain段均为0.0.0.0,表示可通过任一块网卡访问该端口。对于双网卡服务器(一个内网,一个外网),这就意味着公网上所有的用户均可访问Hadoop配置的HDFS,这样存在一个极大的安全问题。这样,我
Hadoop计数器
1. MapReduce计数器是什么  计数器是用来记录Job的执行进度和状态的,其作用类似于日志。我们可以在程序的某个位置插入计数器,记录数据或进度的变化情况。2. MapReduce计数器能做什么  计数器为我们提供了一个窗口,用于观察Job运行期间的各种细节数据,对MapReduce的性能调优很有帮助,MapReduce性能优化的评估大部分都是基于这些计数器Counter的数值来表现的。3....
Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation
转载请注明出处:@http://blog.csdn.net/gamer_gyt,Thinkagmer 撰写 博主微博:http://weibo.com/234654758(欢迎互撩)私人博客:http://blog.cyanscikit.top (尚在开发中)Github:https://github.com/thinkgamer =========...
hadoop常见问题总结
hadoop常见问题总结 正式接触hadoop全家桶已经有一年的时间了,期间也踩了很多坑, 大部分的坑踩完了之后也就过去了... 现在将从接触hadoop开始还有所记录的坑总结一下, 以此自省 1. mapRedue本地执行报错 : could not locate executable winutils.exe in the hadoop binaries 分析 : 从报错信息来看,是目录下...
hadoop安装配置过程遇到的问题
最近学习了hadoop的入门课程,尝试安装了一下hadoop。这个过程并不是一帆风顺,但通过自己琢磨和上网搜索基本完成了配置。我记录了过程中遇到的问题,作为我的第一篇博客。 我学习的[相关资源](%E9%93%BE%E6%8E%A5%EF%BC%9Ahttps://pan.baidu.com/s/1s6Yexqp3AhrrNSgLeXmzWQ)密码:vh93 [参考博客](https://blog...
[Hadoop] TopK的一个简单实现
题外话: 《Hadoop in Action》 是一本非常不错的交Hadoop的入门书,而且建议看英文版。此书作者的英文表达非常简单易懂。相信有一定英文阅读能力的同学直接用英文版就能非常容易的上手~     进入正题。 这个题目是《Hadoop in Action》 上面的一道题目,求出Top K的值。 我自己随便弄了一个输入文件: g 445 a 1117 b 222 c ...
Hadoop格式化后出现异常
我在正常安装Hadoop 格式化后正常启动,在安装成功后再次格式化就出现了异常,解决方案从如下论坛中找到http://forum.hadoop.tw/viewtopic.php?f=4&t=43
Hadoop环境搭建中遇到的问题
简单说一下这几天搭建开源的Hadoop环境时遇到的问题吧!至于安装的过程,按照书上的一步一步配置就可以了,只要细心一点,没有什么问题。 一、linux操作系统的选择:       一般选择用centos、redhat和ubuntu,我推荐用centos。     redhat:因为付费之后有售后的,公司选用的比较多,当然也有破解版也很容易下载,我在最早的时候学习linux,用的就是redha...
hadoop的ACL权限
加粗样式
hadoop问题总汇
1. 在mac伪分布式上运行MapReduce打出的jar包出现如下问题 hadoop jar /path/to/your.jar com.your.mapreduce.class Exception in thread "main" java.io.IOException: Mkdirs failed to create /xxx/xxx/hadoop-unjar5177981654...
安装Hadoop时遇到的几个错误及解决方法
安装Hadoop时遇到的几个错误及解决方法在安装 Hadoop的过程中,遇到了如下几个错误,作为一个刚开始学习Hadoop的新手,确实有些挫败,下面是错误以及相应的解决方法。一、Error: Config file not found: /usr/lib/jvm/java-9-openjdk-amd64/conf/management/management.properties错误及解决方法解决方法
50个Hadoop的面试问题
1)列出Hadoop集群的Hadoop守护进程和相关的角色。Namenode:它运行上Master节点上,负责存储的文件和目录所有元数据。它管理文件的块信息,以及块在集群中分布的信息。Datanode:它是一个存储实际数据的Slave节点。它定时向Namenode发送本节点上块的信息。Secondary Namenode:它会定期通过Editlog合并NameNode的变化,从而它r的日志不会过大...
hadoop安装时容易出现的错误
1.设置主机名错误 看日志,会发现下面的错误 这是由于主机名设置错误造成的,请检查配置文件中关于主机名的设置,是否正确。 首先使用 hostname 命令查看主机名是否正确; 然后使用 more /etc/sysconfig/network 命令查看主机名是否记录在文件中; 最后使用 more /etc/hosts 命令查看 ip 与主机名的映射是否设置。 2.ip 设置错误
Hadoop学习——YARN
1、Yarn的大致结构 Resource Manager(RM,资源管理器):负责整个系统的资源管理和分配,并且由Scheduler和Application Manager组成; Scheduler(调度器):根据容量、队列等,将系统中资源分配给各个正在运行的应用程序; Application Manager(ASM,应用程序管理器):负责管理整个系统中所有应用程序,包括应用程序提交、与调度...
搭建hadoop完全分布式集群时踩过的坑
一、使用yarn-start命令启动yarn时没有提示,当yarn-stop关闭时,提示: stopping yarn daemons no resourcemanager to stop bigdata-senior04.localdomain: no nodemanager to stop bigdata-senior02.localdomain: no nodemanager to ...
Hadoop运维问题记录
一、主机名不能含有_,否则导致后续加载配置一系列错误,如配置为null
Hadoop集群搭建过程中遇到的问题
1.    要先搭建zookeeper 在再搭建hbase   而且搭建hbase的时候        hbase_env.sh   里面的    HBASE_MANAGES_ZK=false 不能等于true ,因为hbase本身自带zookeeper,所以要把hbase里面的zookeeper关掉,,,才可以。     2.    在一些配置conf里,有的有两个     bin   ...
hadoop-eclipse-plugin-1.1.1, hadoop基本文件操作
这个包里包括 hadoop-eclipse-plugin-1.1.1插件,hadoop javaAPI一个简单的小例子,以及调用时可能遇到的问题。还有hadoop shell
hadoop-2.7.3搭建过程中遇到的问题及解决方案
20190507更新 问题:将hadoop-eclipse-plugin-2.X.X.jar拷贝到eclipse/plugins,重启eclipse后,在windows-preference下找不到Hadoop MapReduce选项 解决方案:将eclipse/configuration下的org.eclipse.update文件夹删除,该文件夹记录eclipse插件信息,默认设置中并不是每...
Hadoop NameNode和DataNode只能启动一个问题
DataNode和NameNode进程不能共存 启动NameNode可以正常启动,但是启动DataNode时发现,NameNode进程不存在了,导致两个无法共存, 问题原因 NameNode在format初始化后会生成claserId(集群id),在没有关闭进程或删除原有DataNode信息的情况下, 再次格式化NameNode,生成的clusterId不同,所以导致两个不能对应上。 解决办法 ...
Hadoop搭建中遇到的问题及解决方法
背景 最近在研究hadoop spark过程中 遇到的一些问题 搭建hadoop参考地址:https://blog.csdn.net/weixin_36394852/article/details/75948241#commentsedit 问题 主:alpha@master 从:beta@slave 1. 在启动hadoop时遇到 需要输入alpha@master的密码 解决: 将自身的id...
超详细Hadoop HA高可用集群搭建及常见问题处理
       最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。  1 ,  前期准备     1.0  ,  准备Linux环境。         安装vmware linux虚拟机,因为Centos 7 和Centos 6版本部分命令差别还挺多了,所以我本次用的Centos 6版本,用什么你随意,高兴就...
Hadoop实验常见的错误总结
文章目录1、bash: *****: command not found...(未找到命令)2、显示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: linuxprobe: linuxprobe等信息3、执行start-dfs.sh只输入了一次或者两次密码就结束了开启状态4、提示Error:JAVA_HOM...
虚拟机安装hadoop存在的问题
1、需要配置/etc/hosts虚拟机名与内网ip对应关系 以上解决外网访问时候对应本机localhost无法访问 2、生成对应的私钥公钥对将id_rsa.pub 拷贝到authorized_keys,使得ssh l主机名 可以免秘钥登录 以上可以解决Permission denied (publickey,gssapi-keyex,gssapi-with-mic)问题 3、如果8088端...
未完待续 HDFS中使用hadoop url来读取数据
一、使用hadoop url读取数据 从hadoop中的hdfs分布式文件系统中来读取数据,最简单的方法是通过使用java.net.URL对象来打开一个数据流,并从中读取数据,因此,一般的调用格式如下: InputStream in = null; try { in = new URL("hfs:///文件路径").openStream(); //注意:这里必须要有三个///,
hadoop集群故障排除(定期更新)
故障一:某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境,也配置好了有关的权限,所有者、所属组都配成centos:centos 【故障现象】 名称节点的3个进程都起来了,但是其中一个数据节点的DataNode进程没启动,就是说在该数据节点上通
Hadoop datanode正常启动,但是Live nodes中却缺少节点的问题
打开配置文件hdfs-site.xml找到dfs.datanode.name.dir这个属性,或者dfs.data.dir具体看你用哪个设置的数据存储路径。  分别在master, node1, node2中更改此属性 #master中的值 <property> <name>dfs.datanode.data.dir</name> <value...
浅谈hadoop脑裂问题
1.什么是脑裂: 脑裂是Hadoop2.X版本后出现的全新问题,从字面意思我们可以理解为“大脑分裂”;我们想一下,当一个正常人,突然出现有了两个大脑,而且这两个大脑都有自己的意识,对于这个人来说肯定是灾难性问题。同理,在Hadoop中,为了防止单点失效问题而出现了两个namenode(HA机制),这两个namenode正常情况下是起到一个失效,另一个代替的作用,但在实际运行过程中很有可能出现两个...
搭建hadoop伪分布式集群环境过程中遇见的问题总结
1、网络配置问题: 在centos7中配置网络环境后,本机(win10系统)与虚拟机centos7网络不通(本机可以ping通虚拟机,但是虚拟机ping不通本机); 解决方式: 方式1:查看本机win10系统的防火墙是否关闭,若没有,直接关闭win10系统的防火墙即可; 方式2:修改本机配置:windows防火墙-高级设置-入站规则-虚拟机监控(回显请求-ICMPv4-Ln),把这项启用即...
Hadoop————全排序和二次排序
1、多输入 使用多个输入作为job的输入来源,也就是在InputFormat 前把添加各种不同的序列源里面的方法也就是 addInputPath等等,map也可以在这个流程中套进来。 combiner:合成,map的reduce(聚合) 在分区内聚合,分区后产生数据后在分区内聚合(每个分区都会有一个)。 代码示例 WCTextMapper.java(文本输入格式) package ...