hadoop2的Wordcount测试出错,急!!!

[hadoop@dsp16 hadoop-2.6.0]$ bin/hadoop jar /home/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/
16/02/09 03:26:57 INFO impl.TimelineClientImpl: Timeline service address: http://dsp16:8188/ws/v1/timeline/
16/02/09 03:26:58 INFO input.FileInputFormat: Total input paths to process : 1
16/02/09 03:26:58 INFO mapreduce.JobSubmitter: number of splits:1
16/02/09 03:26:59 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1454948804760_0002
16/02/09 03:26:59 INFO impl.YarnClientImpl: Submitted application application_1454948804760_0002
16/02/09 03:26:59 INFO mapreduce.Job: The url to track the job: http://dsp16:8088/proxy/application_1454948804760_0002/
16/02/09 03:26:59 INFO mapreduce.Job: Running job: job_1454948804760_0002

yarn日志:
2016-02-08 17:36:54,055 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: dsp18/192.168.0.120:38540. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-02-08 17:36:55,056 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: dsp18/192.168.0.120:38540. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-02-08 17:36:55,057 INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error cleaning master
java.net.ConnectException: Call From dsp16/192.168.0.118 to dsp18:38540 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:731)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
at org.apache.hadoop.ipc.Client.call(Client.java:1399)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy35.stopContainers(Unknown Source)
at org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.stopContainers(ContainerManagementProtocolPBClientImpl.java:110)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.cleanup(AMLauncher.java:139)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:268)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:494)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:607)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:705)
at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:368)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1521)
at org.apache.hadoop.ipc.Client.call(Client.java:1438)
... 9 more
2016-02-09 03:26:58,138 INFO org.apache.hadoop.yarn.server.resourcemanager.ClientRMService: Allocated new applicationId: 2

0

1个回答

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hadoopwordcount 异常错误总结
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi windows 电脑解决办法 找到对应hadoop org.apache.hadoop.io.nativeio.NativeIO 这个文件 按照原来的包名拷贝到项目中把文件此处修改为return t...
MapReduce之WordCount程序详解及常见错误汇总
前言:     在之前的笔记中,我们已经成功的关联了eclipse和hadoop,对FileSystem的使用进行了简单了解。     下面就是Hadoop中的重点MapReduce程序的开发。作为MapReduce(以下使用MR来代替)开发中的入门程序WordCount,基本是每个学习MapReduce的同学都必知必会的。有关于WordCount的概念笔者就不再赘述,网上有N多文章讲解。 ...
Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
我的环境是:Ubuntu14+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便。 结点信息:(分
Centos7搭建Hadoop 2.X伪分布式环境并运行wordcount MapReduce示例
1. 下载Hadoop 在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址 因为直接从Apache官方下载文件速度很慢,所以在表格下面选择别的镜像站地址。 在弹出的界面中会推荐一个下载速度很快的国内镜像站。 选择其中某个版本的hadoop下载,因为现在市面上绝大部分的学习资料都是以hadoop 2.x 为基础,所以推荐大家下载hadoop 2.x的版本...
Hadoop2.4.1中wordcount示例程序测试过程
hadoop fs 指令详见我的另一博文    http://blog.csdn.net/zheyejs/article/details/38656627
在windows下搭建hadoop工程(二)之 WordCount 作业测试
四、WordCount.java测试1、测试准备wordcount.java程序是用来统计词频的,因此这里需要先建好输入文件。/test/input/ 但是发现从eclipse上传到hdfs中的文件大小始终都为0尝试使用hadoop shell的方式来创建文件。 在执行文件上传命令时会抛出异常: File /tmp/wordcount/1.txt could only be replicate
hadoop学习之wordcount运行错误处理
学习hadoop第一天,wordcount死活不能运行成功。 报错: security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.JobTrackerNotYetInitialized
Eclipse配置Hadoop环境并运行WordCount样例
1、下载Hadoop插件并安装 (1)下载hadoop-eclipse-plugin-2.7.2.jar,链接:http://download.csdn.net/detail/tondayong1981/9432425 (2)安装:将hadoop-eclipse-plugin-2.7.2.jar拷贝到/usr/lib/eclipse/plugins目录下 2、配置Ha
用hadoop自带的wordcount测试
1、创建文件example.txt,并将其拷贝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/root 2、执行hadoop-mapreduce-examples-2.8.0.jar ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2...
Hadoop的测试例子WordCount(含效果图)
Hadoop的测试例子WordCount(含效果图)
Hadoop第一个测试实例WordCount的运行
首先确保hadoop已经正确安装、配置以及运行。 拷贝WordCount.java到我们的文件夹,下载的hadoop里带有WordCount.java,路径为: hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java 进行拷贝操作 [plain] view plaincopyprint...
hadoop学习第二天~Hadoop2.6.5完全分布式集群搭建和测试
文章参考:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168 环境配置: 系统 centos7 节点 192.168.1.111 namenode 192.168.1.115 datanode2 192.168.1.116 datanode3 java 环境 : jdk-...
Hadoop(二)——WordCount运行和解读
执行WordCount程序1.以hadoop用户进入到linux系统2.启动hadoop3.在home目录下创建一个file文件夹,”~/”表示在home目录下,”/”表示在根目录下。并且在文件夹file内创建两个文本文件file1.txt和file2.txt.4.在HDFS上创建输入文件夹。调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式,因为环境变量
hadoop 部署后测试 运行wordcount
想测试一下自己的 hadoop 是否安装成功1.  hadoop fs -mkdir /input在HDFS中创建input文件目录 2  hadoop fs -put LICENSE.txt  /input我当前在hadoop的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面3  hadoop fs -ls /input查看文件是否正确传入到/input目录下或者 ...
运行hdfs的wordcount程序时出现的错误
在运行wordCount程序时,出现了如下的错误: 16/03/29 17:30:10 ERROR security.UserGroupInformation: PriviledgedActionException as:admin cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path do
第一章,安装spark集群,测试和运行wordcount 案例
1.1下载spark地址:https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.0/1.2上传解压;xiaoye@ubuntu:~/Downloads$ lsapache-activemq-5.15.3-bin.tar.gz  hive-0.13.1-cdh5.2.0.tar.gzflume-ng-1.6.0-cdh5.10.1.t...
hadoop:IDEA本地编写mapreducer的wordcount并测试,并上传到hadoop的linux服务器进行测试
1.首先确认linux服务器安装好了hadoop安装教程:http://blog.csdn.net/sunweijm/article/details/783997262.使用IDEA编写mapreducer的demo.2.1 IDEA创建一个maven项目,项目名称为WordCount2.2 配置Project Settings的Modules在IDEA的Project Structure中:选择左
java使用spark2开发本地测试的wordCount程序
package cn.spark.study.core; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import org.apache.spark.SparkConf; import org.apache.spark.api.java....
Hadoop 2.9.0 伪分布式搭建,并运行wordcount 的一些坑
1、前期建立java环境,安装hadoop的掠过不谈。只要输入jps命令后,能出现类似于 6528 NodeManager 6227 SecondaryNameNode 6035 DataNode 7398 Jps 5914 NameNode 6410 ResourceManager 的就行了。 如果没有NameNode,可以参考http://blog.csdn.net/dongzhongy...
Hadoop伪分布式运行wordcount小例子
先说点小知识 hadoop fs 使用面最广,可以操作任何文件系统 hadoop dfs和hdfs dfs只能操作HDFS相关的 在上一篇博客中,我们已经成功启动了HDFS和YARN,接下来 先建数据存放目录和结果输出目录 root@guo:/opt/Hadoop/hadoop-2.7.2# hdfs dfs -mkdir /data/input root@guo:/opt/Hado
基于HDFS的spark分布式Scala wordcount程序测试
基于HDFS的spark分布式Scala wordcount程序测试 本文是在Hadoop分布式集群和基于HDFS的spark分布式集群部署配置基础上进行Scala程序wordcount测试,环境分别是spark-shell和intelliJ IDEA 。 环境基础是: 节点 地址 HDFS Yarn Spark VM
配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤
该篇博客是基于hadoop单机模式的构建成功的前提下,进行直接操作的,关于  hadoop单机模式的构建可以参考为上一篇博文:http://blog.csdn.net/henni_719/article/details/77718642 PS:全程以root的角色进行配置安装 第一部分:伪分布式配置 伪分布模式主要涉及一下配置信息: (1)修改hado
storm——本地eclipse上调试wordcount程序
通常,对于hadoop或者storm这种任务类型的程序,我们都希望能够在本地进行一次调试,然后再提交到集群上跑任务。 storm和hadoop类似,有本地模式和集群模式。相比hadoop而言,storm的本地模式更加简单,不需要在本地(windows环境)安装任何storm的软件或者工具等(什么都不需要额外安装,只需要maven引入storm的jar即可)。本文就是如何在windows上调试
Hadoop的词频统计源代码WordCount
Hadoop的词频统计源代码WordCount
hadoop2.7.4 安装配置以及java wordcount 运行出错的总结
openjdk环境变量设置 ResourceManager和NodeManager有一个进程消失 DataNode 和NameNode 两个进程有一个消失。 无法访问 org.apache.commons.cli.Options 找不到或无法加载主类 test.class 的错误 Exception in thread "main" java.lang.ClassNotFoundException 使用命令 hadoop jar
安装伪分布式Hadoop系统与WordCount程序实验
一、系统安装运行情况        下面将分别介绍实验的系统环境及hadoop安装运行情况。 1. 实验环境        处理器:Intel Core i5-2500S CPU @2.70GHz        系统:Ubuntu 16.04 LTS 64bit        内存:2GB        磁盘:20 GB        Java环境: java
云计算(二十三)-编写WordCount并使用MRUnit测试
1 建立一个java项目,将hadoop依赖的包导入项目中 2 创建Mapper类 public class MapperClass extends Mapper{ IntWritable one = new IntWritable(1); Text word = new Text(); protected void map(Object key, Text value,org.apac
单机版WordCount的代码实现
在学习MapReduce的时候,我们遇到的最经典的题目就是WordCount,也是相当于一个学习MapReduce的入门案例。相当于我们学习Java的时候关于HelloWord的编程实现。 这篇博客内容不多,主要分享一下单机版WordCount的代码实现,至于增强版的WordCount和其它有关于MapReduce的经典案例题目,笔者会在后面单独总结出来的。 首先,代码实现功能是:***统计6...
Hadoop实战(一),单词计数(wordcount)
目的 通过特定Hadoop Demo实战,了解、学习、掌握大数据框架日常使用及尝试挑战大数据研发过程中遇到的挑战等。 场景描述 运用MapReduce 进行简单的单词计数统计。 实验 Hadoop 运行于虚拟机(VMWare Workstation)环境中: eclipse(个人熟练) 完成 mapper、reducer的设计与实现; maven进行项目管理构建。 ...
分布式环境搭建redhat7+hadoop2.6.1+jdk1.8+WordCount成功运行例子
共三台服务器,安装的Redhat7系统,Redhat7命令与常用的Linux命令稍有不同。第一次写博客,记录过程方便自己的同时方便他人,直接开始正题,环境搭建过程如下。一、安装Redhat7.1系统1.用光盘安装,服务器开启后启动过程中按del键进入BIOS,在boot菜单中将boot priority的CD/ROM选项设置为1st,具体做法是选中CD/ROM选项并按shift+键。 2.安装设置
几个常见的linux里测试wordcount的jar包命令
运行cdh版本下的Hadoop的 jar包,最后两个路径一个是输入路径,一个输出路径,且都是hdfs上的文件,输出路径在hdfs上不能存在 hadoop jar /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreducehadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcoun...
wordcount词频统计讲解比较详细
https://songlee24.github.io/2015/07/29/mapreduce-word-count/
通过cdh运行wordcount
cdh运行mapreduce的wordcount
Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序
第一步:JDk的安装 第二步:Scala的安装 鉴于以上两步较为简单,不再详细赘述 第三步:去Spark官方网站下载Spark包 我下载的文件名是spark-1.6.2-bin-hadoop2.6          点击DownLoad就可以下载了,下载完并解压 第四步:IDE选择 我用的是 intellij IDEA ,不过我学习的时候用的是Scala for Ecl
配置Hadoop单机模式并运行Wordcount
安装ssh Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下: 输入“Y”进行安装并等待自动安装完成。 安装ssh完成后启动服务 以下命令验证服务是否正常启动: 可以看到ssh正常启动; 设置免密码登录,生成私钥和公钥: 在/root/.
hadoop运行自带的WordCount例子。
 使用hadoop用户登录   1、编译WordCount.java文件 cd /opt/hadoop/hadoop-1.2.1/src/examples/org/apache/hadoop/examples 进入该目录 执行下面的命令 javac -classpath /opt/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar://opt/hado...
wordcount代码实现
map的编写 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; ...
Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境并写wordcount
0.前言本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客: http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址:http://www.eclipse.org/downlo
大数据篇:hadoop测试WordCount hdfs拒绝连接
18/11/02 11:50:03 INFO ipc.Client: Retrying connect to server: master/192.168.10.251:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 M...
docker部署pyspark测试简单的本地wordcount案例
#查找 docker search pyspark #拉取对应的版本 docker pull fokkodriesprong/docker-pyspark #启动 docker run -it -h sandbox fokkodriesprong/docker-pyspark bash #启动单核模式 spark-shell --master yar...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 区块链测试 物联网测试技术培训