hadoop第一个程序WordCount出现的问题

我用mapreduce做单词的统计
数据:

图片说明

map程序

public class MyMapper extends Mapper<LongWritable,Text,Text,LongWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        Text word = new Text();
        LongWritable one = new LongWritable(1);
        //将Text转为String
        String line = value.toString();
        //分词
        String[] wordArr = line.split("\\s+");

        word.set(wordArr[0]);
        //将词的次数放入context
        context.write(word ,one);
    }
}

reduce程序:

public class MyReducer extends Reducer<Text,LongWritable,Text,LongWritable> {
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
        Long sum = 0L;
        for(LongWritable value:values){
            sum += value.get();
        }
        context.write(key,new LongWritable(sum));
    }
}

结果:
图片说明

我只想统计第一列的词汇
想要的结果是
word 1
hello 1
hahha 1
ahaha 1

到底哪里出错了

1个回答

sum += value.get();
->
sum = 1;
break;

qq_23239685
式微胡不归 谢谢
11 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
第一个Hadoop程序——WordCount
概述: 通过前面两篇博客的学习,我们学习了Hadoop的伪分布式部署和完全分布式部署。这一篇文章就来介绍一下Hadoop的第一个程序WordCount。以及在运行代码的过程中遇到的问题。 笔者开发环境: Linux: CentOS 6.6(Final) x64 Windows: Win7 64位 JDK: java version ...
Hadoop第一个程序wordcount
1 eclipse + maven代码:package com.bj58.opt.zhaopin.nlp.knowledge.mr.wordcount1;import java.io.IOException;    import org.apache.hadoop.conf.Configuration;  import org.apache.hadoop.fs.Path;  import org....
第一个hadoop程序:WordCount
在windows8.1+eclipse编写hadoop程序,并尝试运行,步骤如下: 1.在Eclipse开发环境中创建JAVA工程 双击桌面上的Eclipse的快捷方式。首先选择菜单“File -> New -> Java Project”。再在“Project name:”文本框中输入工程名“WordCount”。最后点击“Next”按钮。 2. 添加编译依赖类库
第一个Hadoop程序WordCount
参考博客:ubuntu安装hadoop详细步骤 环境: ubuntu16.04LTS+Hadoop2.7.4 配置可参考ubuntu16.04 Hadoop安装 本地新建一个文件,笔者在~/Documents目录下新建了一个wordCount.txt文档,里面的内容可以随便填写。 I have an apple I have a pen emmmmm applep
hadoop的第一个程序WordCount
伪代码分析:   执行步骤:  1. map任务处理 1.1读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。 1.2写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。 1.3对输出的key、value进行分区。 1.4对不同分区的数据,按照key进行排序、分组。相同key的...
hadoop 第一个程序wordcount执行过程
第一次在hadoop上执行wordcount程序,原来是照着书上一步步来的,发现书上记录的都不是特别明确,仅有主要的命令,对于我这个小白来说,一敲命令就出来错简直太打击学习积极性了。于是把详细过程记录一下,仅是学习笔记。默认已配置好hadoop(我是伪分布的模式)
hadoop的第一个程序wordcount实现
具体安装步骤请见博客:linux hadoop 2.7 伪分布式安装简单几步实现 1. 在本地新建一个文件,笔者在~/hadoop-2.7.1/local_data文件夹新建了一个文本文件hello.txt,local_data文件夹也是新建的。文件内容是: he wo shi he jing shao wo shi shao jie ni ni shi lu lu 2. 在hd
hadoop 第一个程序 wordcount 详解
package net.csdn.blog.zephyr.main;import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.
第一个hadoop入门程序WordCount
package com.yootk.mr.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoo
Hadoop大数据平台入门——第一个小程序WordCount
首先我们需要安装Hadoop,并对Hadoop进行配置。这里我们就不赘述了,详情看这篇博客:Hadoop安装配置 值得注意的是,配置的时候,需要给Hadoop权限才能正确执行。最简单的办法就是讲hadoop以及其目录下所有文件都归在一个组中。 chown -R hadoop:hadoop hadoop文件夹就可以了。 配置完成之后,我们我们还需要什么? 1.需要在HDFS
hadoop测试wordcount出现的问题
问题:WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /opt/hdfs/tmp/mapred/staging/Administrator/.staging/job_201705031949_0005/job.jar could
Hadoop实践 | 第一个例子WordCount
这是冲锋兵,下文紧跟另外两个例子 磨刀霍霍 导入eclipse maven ant hadoop-eclipse-plugin mkdir ~/software tar -zxvf /mnt/hgfs/share/eclipse-java-neon-3-linux-gtk-x86_64.tar.gz -C ~/software/ tar -zxvf /mnt/hgfs/s...
第一个MapReduce程序——WordCount
通常我们在学习一门语言的时候,写的第一个程序就是Hello World。而在学习Hadoop时,我们要写的第一个程序就是词频统计WordCount程序。一、MapReduce简介1.1 MapReduce编程模型MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是”
第一个spark程序(wordcount)
一.spark的四种部署模式 1.本地模式(local) 不指定master,或者–master local local:只是用一个cores local[N]:使用N个cores local[*]:使用所有的cores 2.standalone 集群模式 spark框架自带的模式 –master standalone的master地址 eg: –master spark://...
我的第一个wordcount程序
环境:hadoop 版本2.6.0  jdk版本1.7.0import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.In
MapReduce—第一个WordCount程序
客户端 客户端先和RM联系,通过配置文件,知道集群内角色在哪。
hadoop wordCount程序
hadoop一个入门例子,有改进,两种方法对比
第一个wordcount程序
在hadoop集群中,系统自带了许多mapreduce的程序例子,在{%HOME%}/hadoop-mapreduce/hadoop-mapreduce-examples.jar里面有许多小例子,可以在hadoop集群中直接运行命令. 当然运行前需要在HDFS上创建input目录和output目录, input目录需要一个输入文件,比如/s_tmp/input/tmp.txt 接下来需要创建ou...
运行hadoop的WordCount程序
源代码 [code=&quot;java&quot;]import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.StringTokenizer; import org.apache.hadoop.conf.Confi...
Hadoop搭建之WordCount程序
Hadoop环境需要 实验一中已经搭好了hadoop,部署模式是完全分布式,一个namenode,三个datanode。之前已经用JPS查看进程,已经搭好,现在再检查下是否搭建成功: 在浏览器中输入ma:50070,可以查看详细情况:       图中显示3个livenodes,说明三个datanode正常启动。 输入ma:50090可以查看辅助名称节点,不过这里没有
hadoop运行wordcount,出现空指针异常
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).rnlog4j:WARN Please initialize the log4j system properly.rnlog4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.rnException in thread "main" java.lang.NullPointerExceptionrn at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010)rn at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)rn at org.apache.hadoop.util.Shell.run(Shell.java:455)rn at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)rn at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)rn at org.apache.hadoop.util.Shell.execCommand(Shell.java:774)rn at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646)rn at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434)rn at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281)rn at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)rn at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348)rn at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)rn at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)rn at java.security.AccessController.doPrivileged(Native Method)rn at javax.security.auth.Subject.doAs(Subject.java:415)rn at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)rn at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)rn at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)rn at com.miraclet.demo.wordcount.WordCount.main(WordCount.java:30)
Hadoop 第一个Hadoop程序
1. 旧版API -- 源代码 MaxTemperatureMapper.java package com.hadoop.study.chap01; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; i...
cygwin运行hadoop实例wordcount出现了问题
下面是我复制的一段代码:rn$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input outputrn13/11/23 02:13:44 INFO input.FileInputFormat: Total input paths to process : 1rn13/11/23 02:13:45 INFO mapred.JobClient: Running job: job_201311230212_0002rn13/11/23 02:13:46 INFO mapred.JobClient: map 0% reduce 0%rn13/11/23 02:13:54 INFO mapred.JobClient: Task Id : attempt_201311230212_0002_m_000002_0, Status : FAILEDrnjava.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201311230212_0002/attempt_201311230212_0002_m_000002_0/work/tmp does not exist.rn at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)rn at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)rn at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)rn at org.apache.hadoop.mapred.Child.main(Child.java:155)rn
Hadoop第一个测试实例WordCount的运行
首先确保hadoop已经正确安装、配置以及运行。 拷贝WordCount.java到我们的文件夹,下载的hadoop里带有WordCount.java,路径为: hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java 进行拷贝操作 [plain] view plaincopyprint...
hadoop第一个计算任务wordcount的运行
第一个hadoop 程序,主要目的是感受下hadoop 的魅力,熟悉下hadoop,hdfs操作。
Hadoop安装配置、运行第一个WordCount示例程序
操作系统ubuntu。本篇目的是在单机模式下运行成功WordCount示例程序。 本篇小结安装步骤,遇到的问题和解决办法。 疑惑点及其思考。 Hadoop是为linux而开发的,所以开发hadoop程序,包括spark最好在linux环境下。目录如下: 一:Hadoop运行环境安装: java1.6安装配置 Hadoop用户创建 SHH安装及配置 二:安装Hadoo
我的第一个MapReduce程序(WordCount)
万事开头难!长途从第一步开始!MapReduce编程也一样! 下面是本人编写的第一个MapReduce程序以及个人的一些理解! 准备条件: 1、安装hadoop 2、工具:eclipse(已经安装了hadoop插件) 3、开发平台:ubuntu(也可以在Win上面开发) 参考资料地址为:http://hadoop.apache.org/docs/r2.6.0/had
编写第一个Spark程序WordCount
这里使用IDEA创建项目,其次,在setting-plugins中查找并安装插件Scala开始创建项目 配置sbtname := "spark01"version := "1.0"scalaVersion := "2.11.7"libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.0.2" ) 编写代码
spark下载安装和第一个Wordcount程序
Java环境搭建 JDK1.7下载,百度网盘 Scala下载安装 2.10.0 spark下载  1.6.2 IDEA下载安装 Scala插件下载 https://plugins.jetbrains.com/plugin/1347-scala
WordCount计数--第一个MapReduce程序
最简单的MapReduce应用程序至少包含 3 个部分:一个 Map 函数、一个 Reduce 函数和一个 main 函数。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段和reduce阶段,每个阶段都是用键值对(key/value)作为输入(input)和输出(output)。main 函数将作业控制和文件输入/输出结合起来。 并行读取文本中的内容,
hadoop wordcount
用一个并行计算任务显然是无法同时完成单词词频统计和排序的,这时我们可以利用 Hadoop 的任务管道能力,用上一个任务(词频统计)的输出做为下一个任务(排序)的输入,顺序执行两个并行计算任务。主要工作是修改代码清单3中的 run 函数,在其中定义一个排序任务并运行之。
Hadoop的WordCount
我Hadoop当前版本为2.2,运行了一个WordCount例子,但是无法运行rnrn[code=java]rnCould not locate executable null\bin\winutils.exe in the Hadoop binaries.rn[/code]rnrn我搭建的是集群,运行时候配置了args参数rnrn在Windows平台开发,连接远程服务器,之前使用过1.2.1并且也运行过WordCount可以rn现在2.2却无法执行了rnrn
hadoop入门程序wordcount 解析
文件一 package hadooptext; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache
Hadoop入门经典: WordCount程序
WordCount程序 在 hadoop1.2.1 测试成功。 点击(此处)折叠或打开 package hadoopdemo.wordcount;            import java.io.IOException;
Hadoop中WordCount程序详解
Mappackage com.test.dx;/*如何给eclipse的main函数传递参数 * run as--> run configures -->Arguments */public class WordCount extends Configured implements Tool { static int mapnum = 0; public static int re
第一个spark scala程序——wordcount
背景:C++的第一个程序是helloworld,但对于spark scala,输出helloworld并没有什么意义,体现不了spark的精髓,所以wordcount才是王道……话不多说,直接上代码wordcount (spark本地实现) 本地文件test.txt如下: spark shell java scala spark shellimport org.apache.spark.{Sp
Hadoop平台执行Wordcount程序
之前搭建好了hadoop的伪分布式环境,今天跑一下hadoop自带的wordCount程序1.在root目录下新建一个文本文档命名为test ,输入一段英文到此文本中 2.将文本文件上传到 hdfs 文件系统中的 input 目录下,打开命令行,输入如下命令hadoop fs -copyFromLocal /root/test input(注:如果 dfs 中不包含 input 目录的话就
Hadoop 项目实战之一WordCount程序
Hadoop之MapReduce详解【待更新】 一个MapReduce作业的运行周期是: (1)先在client端被提交到JobTracker上 (2)然后由JobTracker将作业分解成若干个Task,并将这些Task进行调度和监控,以保障这些程序运行成功 (3)TaskTracker则启动JobTracker发来的Task,并向JobTracker汇报这些Task的运行状态和本节点上资...
hadoop——wordcount
代码啊代码,活生生的代码啊,不是我写的是hadoop自带的代码啊
Hadoop的单机伪分布式搭建和运行第一个WordCount程序
图片我没有上传,很麻烦scdn 心累 http://download.csdn.net/detail/u014449653/9728513 可以下载文档看相关图片
相关热词 c#检测非法字符 c#双屏截图 c#中怎么关闭线程 c# 显示服务器上的图片 api嵌入窗口 c# c# 控制网页 c# encrypt c#微信网页版登录 c# login 居中 c# 考试软件