一个hadoop问题

刚刚学习hadoop，搭建起集群在运行hadoop自带例子时报如下错误。请高手帮我解决下
hadoop jar c:/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount in/test.txt out 12/06/08 15:57:08 INFO input.FileInputFormat: Total input paths to process : 1 12/06/08 15:57:08 INFO mapred.JobClient: Running job: job_201206081518_0001 12/06/08 15:57:09 INFO mapred.JobClient: map 0% reduce 0% 12/06/08 15:57:18 INFO mapred.JobClient: map 100% reduce 0% 12/06/08 15:57:32 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_0, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:57:47 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_1, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_1 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_1/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:58:02 INFO mapred.JobClient: Task Id : attempt_201206081518_0001_r_000000_2, Status : FAILED java.io.IOException: Can not get the relative path: base = hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_2 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_2/part-r-00000 at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.getFinalPath(FileOutputCommitter.java:200) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:146) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.moveTaskOutputs(FileOutputCommitter.java:165) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:118) at org.apache.hadoop.mapred.Task.commit(Task.java:779) at org.apache.hadoop.mapred.Task.done(Task.java:691) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:414) at org.apache.hadoop.mapred.Child.main(Child.java:170) 12/06/08 15:58:20 INFO mapred.JobClient: Job complete: job_201206081518_0001 12/06/08 15:58:20 INFO mapred.JobClient: Counters: 12 12/06/08 15:58:20 INFO mapred.JobClient: Job Counters 12/06/08 15:58:20 INFO mapred.JobClient: Launched reduce tasks=4 12/06/08 15:58:20 INFO mapred.JobClient: Launched map tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: Data-local map tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: Failed reduce tasks=1 12/06/08 15:58:20 INFO mapred.JobClient: FileSystemCounters 12/06/08 15:58:21 INFO mapred.JobClient: HDFS_BYTES_READ=25 12/06/08 15:58:21 INFO mapred.JobClient: FILE_BYTES_WRITTEN=93 12/06/08 15:58:21 INFO mapred.JobClient: Map-Reduce Framework 12/06/08 15:58:21 INFO mapred.JobClient: Combine output records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map input records=2 12/06/08 15:58:21 INFO mapred.JobClient: Spilled Records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map output bytes=45 12/06/08 15:58:21 INFO mapred.JobClient: Combine input records=5 12/06/08 15:58:21 INFO mapred.JobClient: Map output records=5
问题补充
我觉得是hdfs://MASTER:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0 child = hdfs://master:9000/user/Administrator/out/_temporary/_attempt_201206081518_0001_r_000000_0/part-r-00000 at
master 大小写的问题。但是不知道在哪里改?

展开全部

写回答
好问题 0 提建议
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
菜瘦瘦的小弟 2012-06-14 06:20
关注
能不能正常启动？或许是hdfs://MASTER:9000这个所在的xml格式或者其他地方有错误

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报
编辑

预览
轻敲空格完成输入
显示为

卡片

标题

链接
评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

编辑

预览

报告相同问题？

关注问题

hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
2022-06-23 05:55

回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
大数据、Hadoop hadoop 大数据
2022-12-19 08:44

回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
Hadoop集群搭建时问题 big data hadoop 大数据
2022-02-09 00:07

回答 1 已采纳题主的hadoop102 和 hadoop103 应该没有开sudo 对吧，直接使用ssh进行命令的启动恐怕是不行的，可以尝试写一个跳转的shell到每个node中进行sudo启动，关于sudo权限
Hadoop大数据开发基础.rar
2023-10-14 13:51

文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。【实例截图】【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
Hadoop平台搭建 hadoop
2022-04-20 00:36

回答 3 已采纳排查方向：1、检查host文件，看IP地址跟主机名对应关系2、检查防火墙，需要关闭3、在这一步，即使你做了ssh免密登录，排查方向还是在ssh这里，主要是检查node23节点有没有把公钥传输到你的ma
hadoop的端口占用问题 hadoop hdfs 大数据
2022-12-31 15:49

回答 1 已采纳如果你觉得端口号为2181被占用导致了你的resourcemanagerj启动失败的话，你可以使用下面的步骤来检查端口号2181是否被占用：1.在命令行中输入1sof-i:2181,查看端口号2181
hadoop大数据平台搭建–集群部署hadoop平台 linux
2021-08-22 14:43

回答 3 已采纳服务器性能不够，或者是配置文件没配置对。
一个基于hadoop的大数据实战.zip
2024-03-13 04:31

Hadoop是Apache基金会的一个开源项目，其核心包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式文件系统，它将大量数据分散存储在多台廉价服务器上，提供高容错性和高可用性。MapReduce则是...
hadoop第一个程序WordCount出现的问题 hadoop hdfs 大数据
2018-11-07 05:10

回答 2 已采纳 sum += value.get(); -> sum = 1; break;
关于hadoop和spark大数据开发大数据
2016-06-11 21:52

回答 2 已采纳你好本人刚在大数据库处理方面学习对此有以下理解 1，大数据处理看到的注重点是对数据处理，字段与字段在oracle与oracle ，oracle与mysql，oracle与mariadb等数据
hadoop完全分布式分发文件时的问题 hadoop 分布式大数据
2022-11-23 12:06

回答 1 已采纳你检查一下你的slave的对应需要发送的目标路径下是不是已经有了hadool-2.7.1这个文件
基于Hadoop的大数据应用分析.ppt
2021-05-10 06:11

1.大数据背景介绍 2. HADOOP体系架构 3. 基于HADOOP的大数据产品分析 4. 基于HADOOP的大数据行业应用分析 5.东软基于HADOOP的大数据应用建议
大数据hadoop完全分布式安装配置怎么做 hadoop
2023-03-02 08:06

回答 3 已采纳小魔女参考了bing和GPT部分内容调写:要安装配置Hadoop的完全分布式，首先需要准备好master节点和slave节点，其中master节点需要安装jdk，slave节点只需要安装ssh服务，并
hadoop大数据课程设计
2022-06-15 12:44

【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop，这是一个开源的分布式计算框架，主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者提供高容错...
基于hadoop大数据大项目
2022-02-19 00:47

这个不是，林子雨的大数据的话可以私聊，实训所有都顺利完成、ubuntu上做的、已经导出来了、想要就私聊吧，不要钱，可能不在线，看不到消息就没办法了
没有解决我的问题, 去提问

一个hadoop问题

2条回答 默认 最新

2条回答默认最新