hadoop2的Wordcount测试出错,急!!!

[hadoop@dsp16 hadoop-2.6.0]$ bin/hadoop jar /home/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/
16/02/09 03:26:57 INFO impl.TimelineClientImpl: Timeline service address: http://dsp16:8188/ws/v1/timeline/
16/02/09 03:26:58 INFO input.FileInputFormat: Total input paths to process : 1
16/02/09 03:26:58 INFO mapreduce.JobSubmitter: number of splits:1
16/02/09 03:26:59 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1454948804760_0002
16/02/09 03:26:59 INFO impl.YarnClientImpl: Submitted application application_1454948804760_0002
16/02/09 03:26:59 INFO mapreduce.Job: The url to track the job: http://dsp16:8088/proxy/application_1454948804760_0002/
16/02/09 03:26:59 INFO mapreduce.Job: Running job: job_1454948804760_0002

yarn日志:
2016-02-08 17:36:54,055 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: dsp18/192.168.0.120:38540. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-02-08 17:36:55,056 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: dsp18/192.168.0.120:38540. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-02-08 17:36:55,057 INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error cleaning master
java.net.ConnectException: Call From dsp16/192.168.0.118 to dsp18:38540 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:731)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
at org.apache.hadoop.ipc.Client.call(Client.java:1399)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy35.stopContainers(Unknown Source)
at org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.stopContainers(ContainerManagementProtocolPBClientImpl.java:110)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.cleanup(AMLauncher.java:139)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:268)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:494)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:607)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:705)
at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:368)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1521)
at org.apache.hadoop.ipc.Client.call(Client.java:1438)
... 9 more
2016-02-09 03:26:58,138 INFO org.apache.hadoop.yarn.server.resourcemanager.ClientRMService: Allocated new applicationId: 2

0

查看全部1条回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
用hadoop自带的wordcount测试
1、创建文件example.txt,并将其拷贝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/root 2、执行hadoop-mapreduce-examples-2.8.0.jar ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2...
Hadoop2.x实战:WordCount实例运行
本文主要讲了hadoop2.7.2自带的WordCount实例运行
hadoopwordcount 异常错误总结
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi windows 电脑解决办法 找到对应hadoop org.apache.hadoop.io.nativeio.NativeIO 这个文件 按照原来的包名拷贝到项目中把文件此处修改为return t...
MapReduce之WordCount程序详解及常见错误汇总
前言:     在之前的笔记中,我们已经成功的关联了eclipse和hadoop,对FileSystem的使用进行了简单了解。     下面就是Hadoop中的重点MapReduce程序的开发。作为MapReduce(以下使用MR来代替)开发中的入门程序WordCount,基本是每个学习MapReduce的同学都必知必会的。有关于WordCount的概念笔者就不再赘述,网上有N多文章讲解。 ...
hadoop实现wordcount的三种方法
很多小伙伴在搭建完hadoop集群后,还不太会在上面跑测试程序,作为大数据入门学习的Hello world程序,我总结了三种方法。 第一种:用hadoop上自带的jar包(hadoop-mapreduce-examples-2.7.0.jar)实现 第二种:不用自带的包,我们自己导出JAR包,在集群中运行(3个java源程序,我这里就不提供了) 第三种:在IDE中运行,eclipse怎么连接集群请参考这篇博文:http://blog.csdn.net/dopamy_busymonkey/article/de
Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
我的环境是:Ubuntu14+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便。 结点信息:(分
Hadoop2.4.1中wordcount示例程序测试过程
hadoop fs 指令详见我的另一博文    http://blog.csdn.net/zheyejs/article/details/38656627
Hadoop基准测试HiBench 学习笔记 - 1
一、准备工作 操作系统 centOS 64 位 JDK 1.7   maven  hadoop 2.6 github下载HiBench 4.0 运行 bin/build-all.sh编译 (参考HiBench 的说明,因没有安装spark,直接运行run-all.sh 会报错,忽略)。 二、 编译运行 1. conf 目录下的benchmarks.lst文件设置测试项,一行一个测试
Hadoop伪分布式运行wordcount小例子
先说点小知识 hadoop fs 使用面最广,可以操作任何文件系统 hadoop dfs和hdfs dfs只能操作HDFS相关的 在上一篇博客中,我们已经成功启动了HDFS和YARN,接下来 先建数据存放目录和结果输出目录 root@guo:/opt/Hadoop/hadoop-2.7.2# hdfs dfs -mkdir /data/input root@guo:/opt/Hado
运行hdfs的wordcount程序时出现的错误
在运行wordCount程序时,出现了如下的错误: 16/03/29 17:30:10 ERROR security.UserGroupInformation: PriviledgedActionException as:admin cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path do
基于ubuntu安装Hadoop,并运行word count
一.     实验目的以及实验环境     在Linux或者Windows下安装Hadoop并运行其中任意实例,本次试验简单运行一个wordcount 实例,选择的安装环境是在VMware Fusion 8.5.3虚拟机上,使用ubuntu来安装。以下是两个版本的截图。   二.     实验步骤以及运行结果截图1.首先下载vmware虚拟机并安装2.接着下载Linux套件,本实验使用ubuntu...
hadoop学习之wordcount运行错误处理
学习hadoop第一天,wordcount死活不能运行成功。 报错: security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.JobTrackerNotYetInitialized
Hadoop的测试例子WordCount(含效果图)
Hadoop的测试例子WordCount(含效果图)
hadoop:IDEA本地编写mapreducer的wordcount并测试,并上传到hadoop的linux服务器进行测试
1.首先确认linux服务器安装好了hadoop安装教程:http://blog.csdn.net/sunweijm/article/details/783997262.使用IDEA编写mapreducer的demo.2.1 IDEA创建一个maven项目,项目名称为WordCount2.2 配置Project Settings的Modules在IDEA的Project Structure中:选择左
java使用spark2开发本地测试的wordCount程序
package cn.spark.study.core; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import org.apache.spark.SparkConf; import org.apache.spark.api.java....
分布式环境搭建redhat7+hadoop2.6.1+jdk1.8+WordCount成功运行例子
共三台服务器,安装的Redhat7系统,Redhat7命令与常用的Linux命令稍有不同。第一次写博客,记录过程方便自己的同时方便他人,直接开始正题,环境搭建过程如下。一、安装Redhat7.1系统1.用光盘安装,服务器开启后启动过程中按del键进入BIOS,在boot菜单中将boot priority的CD/ROM选项设置为1st,具体做法是选中CD/ROM选项并按shift+键。 2.安装设置
Hadoop(二)——WordCount运行和解读
执行WordCount程序1.以hadoop用户进入到linux系统2.启动hadoop3.在home目录下创建一个file文件夹,”~/”表示在home目录下,”/”表示在根目录下。并且在文件夹file内创建两个文本文件file1.txt和file2.txt.4.在HDFS上创建输入文件夹。调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式,因为环境变量
在windows下搭建hadoop工程(二)之 WordCount 作业测试
四、WordCount.java测试1、测试准备wordcount.java程序是用来统计词频的,因此这里需要先建好输入文件。/test/input/ 但是发现从eclipse上传到hdfs中的文件大小始终都为0尝试使用hadoop shell的方式来创建文件。 在执行文件上传命令时会抛出异常: File /tmp/wordcount/1.txt could only be replicate
hadoop学习第二天~Hadoop2.6.5完全分布式集群搭建和测试
文章参考:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168 环境配置: 系统 centos7 节点 192.168.1.111 namenode 192.168.1.115 datanode2 192.168.1.116 datanode3 java 环境 : jdk-...
第一章,安装spark集群,测试和运行wordcount 案例
1.1下载spark地址:https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.0/1.2上传解压;xiaoye@ubuntu:~/Downloads$ lsapache-activemq-5.15.3-bin.tar.gz  hive-0.13.1-cdh5.2.0.tar.gzflume-ng-1.6.0-cdh5.10.1.t...
hadoop 部署后测试 运行wordcount
想测试一下自己的 hadoop 是否安装成功1.  hadoop fs -mkdir /input在HDFS中创建input文件目录 2  hadoop fs -put LICENSE.txt  /input我当前在hadoop的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面3  hadoop fs -ls /input查看文件是否正确传入到/input目录下或者 ...
Hadoop下WordCount开发实战(附源码)
首先安装Eclipse和hadoop的插件,打开eclipse后看到项目侧会看到DFS开启Hadoop,单击右下角的如下图中的小象编辑DFS的连接配置信息点击finish右击DFS刷新,会看到hdfs下的目录:++++++++++++++++++++++++++++++++++++++++++++++++++++右击File新建项目:输入项目名WordCount将所安装的hadoop下的share...
Hadoop 2.9.0 伪分布式搭建,并运行wordcount 的一些坑
1、前期建立java环境,安装hadoop的掠过不谈。只要输入jps命令后,能出现类似于 6528 NodeManager 6227 SecondaryNameNode 6035 DataNode 7398 Jps 5914 NameNode 6410 ResourceManager 的就行了。 如果没有NameNode,可以参考http://blog.csdn.net/dongzhongy...
MapReduce 配置、案例 WordCount 测试运行、如何提 交 Job、查看运行结果
运行 mapreduce 程序,MapReduce 程序打成 jar 包运行在 YARN 上 创建文件 vi /opt/datas/wc.input 创建 hdfs 文件夹 bin/hdfs dfs -mkdir -p mapreduce/wordcount/input 将本地文件上传到 hdfs 中 bin/hdfs dfs -put /opt/datas/wc.input /user/bei
Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境并写wordcount
0.前言本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客: http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址:http://www.eclipse.org/downlo
Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序
第一步:JDk的安装 第二步:Scala的安装 鉴于以上两步较为简单,不再详细赘述 第三步:去Spark官方网站下载Spark包 我下载的文件名是spark-1.6.2-bin-hadoop2.6          点击DownLoad就可以下载了,下载完并解压 第四步:IDE选择 我用的是 intellij IDEA ,不过我学习的时候用的是Scala for Ecl
基于HDFS的spark分布式Scala wordcount程序测试
基于HDFS的spark分布式Scala wordcount程序测试 本文是在Hadoop分布式集群和基于HDFS的spark分布式集群部署配置基础上进行Scala程序wordcount测试,环境分别是spark-shell和intelliJ IDEA 。 环境基础是: 节点 地址 HDFS Yarn Spark VM
安装伪分布式Hadoop系统与WordCount程序实验
一、系统安装运行情况        下面将分别介绍实验的系统环境及hadoop安装运行情况。 1. 实验环境        处理器:Intel Core i5-2500S CPU @2.70GHz        系统:Ubuntu 16.04 LTS 64bit        内存:2GB        磁盘:20 GB        Java环境: java
用Python统计单词的个数写wordcount
''' Created on 2018年9月22日 @author: Administrator ''' from pyspark.conf import SparkConf from pyspark.context import SparkContext from pyspark.streaming.tests import result from test.test_importlib.n...
storm1.2.1-wordcount可靠的单词计数
项目源码下载:https://download.csdn.net/download/adam_zs/10294019测试程序运行了5次,每次失败的消息都会再次发送。SentenceSpout-&amp;gt;SplitSentenceBolt-&amp;gt;WordCountBolt-&amp;gt;ReportBolt这个TopologyBuilder顺序如上,在SentenceSpout中定义ConcurrentH...
storm——本地eclipse上调试wordcount程序
通常,对于hadoop或者storm这种任务类型的程序,我们都希望能够在本地进行一次调试,然后再提交到集群上跑任务。 storm和hadoop类似,有本地模式和集群模式。相比hadoop而言,storm的本地模式更加简单,不需要在本地(windows环境)安装任何storm的软件或者工具等(什么都不需要额外安装,只需要maven引入storm的jar即可)。本文就是如何在windows上调试
hadoop运行自带的WordCount例子。
 使用hadoop用户登录   1、编译WordCount.java文件 cd /opt/hadoop/hadoop-1.2.1/src/examples/org/apache/hadoop/examples 进入该目录 执行下面的命令 javac -classpath /opt/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar://opt/hado...
配置Hadoop单机模式并运行Wordcount
安装ssh Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下: 输入“Y”进行安装并等待自动安装完成。 安装ssh完成后启动服务 以下命令验证服务是否正常启动: 可以看到ssh正常启动; 设置免密码登录,生成私钥和公钥: 在/root/.
Hadoop实战(一),单词计数(wordcount)
目的 通过特定Hadoop Demo实战,了解、学习、掌握大数据框架日常使用及尝试挑战大数据研发过程中遇到的挑战等。 场景描述 运用MapReduce 进行简单的单词计数统计。 实验 Hadoop 运行于虚拟机(VMWare Workstation)环境中: eclipse(个人熟练) 完成 mapper、reducer的设计与实现; maven进行项目管理构建。 ...
单机版WordCount的代码实现
在学习MapReduce的时候,我们遇到的最经典的题目就是WordCount,也是相当于一个学习MapReduce的入门案例。相当于我们学习Java的时候关于HelloWord的编程实现。 这篇博客内容不多,主要分享一下单机版WordCount的代码实现,至于增强版的WordCount和其它有关于MapReduce的经典案例题目,笔者会在后面单独总结出来的。 首先,代码实现功能是:***统计6...
云计算(二十三)-编写WordCount并使用MRUnit测试
1 建立一个java项目,将hadoop依赖的包导入项目中 2 创建Mapper类 public class MapperClass extends Mapper{ IntWritable one = new IntWritable(1); Text word = new Text(); protected void map(Object key, Text value,org.apac
hadoop 集群运行WordCount示例程序
在博客中http://blog.csdn.net/stormragewang/article/details/41148917写到运行wordcount程序 [hadoop@Yarn-Master ~]$ hadoop/2.6.1/bin/hadoop jar hadoop/2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.
hadoop 自带示例wordcount 详细运行步骤
因为机器学习,接触到了数据挖掘;因为数据挖掘,接触到了大数据;因为大数据,接触到了Hadoop。之前有过hadoop的简单了解,但都是基于别人提供的hadoop来学习和使用,虽然也很好用 ,终究不如自己的使用起来方便 。经过这两天参考大量网上的经验,终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来,相信安装这个思路去做,hadoop
在eclipse中运行WordCount程序时的错误
有时候,我们为了方便学习或者编码,又或者是linux服务器就不在我们身边,我们只能利用远程来学习使用hadoop,这样我们就的在windows下面链接服务器端的hadoop服务,来作业。 在配置的过程中,我遇到了好多问题,这里我只说一个错误。那就是在运行WordCount程序的时候遇到的错误。 如下图: 是不是比较明白?在FileUtil中的,checkReturnValue
基于Jupyter平台通过python实现Spark的应用程序之wordCount
1、启动spark平台,界面如下: 2、启动Jupyter,界面如下图所示: 如果你对以上启动存在疑问的话,请看我的上一篇博客,关于Jupyter配置Spark的。 3、功能分析 - 我们要实现的一个功能是统计词频 - 我们需要把统计的文件上传到hdfs里面 - 编写python脚本 4、代码实现 - 上传文件到hdfs 我有一个hello.txt文件,里面有两行
文章热词 渗透测试教程 设计制作学习 机器学习教程 Objective-C培训 交互设计视频教程
相关热词 ios获取idfa server的安全控制模型是什么 sql android title搜索 java课程的单元测试 python接口测试的教程