MapReduce 时间排序并统计

A文件
1 a 2013-04-01
1 a 2013-04-08
1 a 2013-04-28
2 a 2013-04-08
2 a 2013-11-11
3 a 2016-01-11
求MapReduce代码,实现以前两列为key,比较多个日期从中找出最早最晚时间,并统计出现次数, 如果时间只有一条记录,则最晚最早时间一样,都记录这个时间
B文件
1 a 2013-04-01 2013-04-28 3
2 a 2013-04-08 2013-11-11 2
3 a 2016-01-11 2016-01-11 1

1个回答

源数据

搜索数据

qq_21194023
寂寞不孤单 大哥,我不是数据库的.
3 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
字频统计并排序
只能统计文件中字母使用的次数,并按从大到小排列。如果需要字频或词频,请联系我。
统计结果并排序
现在需要做一个用户投稿每月排名,有两个表:用户表 user 字段有ID、username 文章表和用户表关联的字段是Inputer,我的写法是:rn[code=sql]sql = "select User_Name,(select count(ID) from Article where DateDiff('m',addtime,now())=0 and Inputer=User_Name) as total from User group by User_Name order by total desc"[/code]rn运行后提示错误:错误 '80040e10' 至少一个参数没有被指定值。 如果不加order by total desc,同运行正常,但却不是按照投稿数量排名。
排序并比较排序时间
package com.lmy4.www; import java.util.*; public class Demo1 { public static void main(String[] args) { // TODO Auto-generated method stub // int arr1[] = {3, -8, 9, 89, 0, 4};
topk在mapreduce下面的统计加排序的实现
给定的原始数据集如下: All of us have read thrilling stories in which the hero had only a limited and specified time to live. Sometimes it was as long as a year, sometimes as short as 24 hours. But always we we
统计字母个数并排序
要求:输入一段英文字母,统计各个字母的个数,并按个数从大到小排序输出。rn提示:字母大小写等价。输出格式为:字母:个数rn
字符串统计个数并排序
static void Main(string[] args)         {             string[] strArr = { "aa", "bb", "cc", "dd", "aa", "bb", ...
MapReduce练习-----数字排序并加序号
数字排序并加序号:源数据: 最后结果: 2 1 2 32 2 6 654 3 15 32 4 22 15 5 26 756 ...
Android 选择时间,并排序
项目中遇到这样的一个功能: 选择周一,周二,周三,然后把这些值放到text上去,选择了全部就把所有值替换成全部,且这些时间都是按排序排的,看起来很简单一个功能,但我差不多花了一天时间。 效果如下: 我先讲一下我的思路,因为后面从周一到周日是要按顺序来排列的,所以我就创建了一如下一个星期类,里面有position属性用于最后来
mapReduce统计平均价格
mongodb介绍/文档型存储/安装 启动 连接/库表入门操作/增/删/改/查/查询表达式/游标/group操作/mapReduce原理/mapReduce统计平均价格/下载并导入地震数据/按经纬度统计数据/热力图/展示地震数据
mapreduce 统计流量
流量统计,第一列为用户手机号,第二列为上行流量,第三列为下行流量,ok 问题来了 根据用户统计用户上行和下行流量1363157985066,2481,24681 1363157995052,264,0 1363157991076,132,1512 1363157995052,240,0 1363157993044,1527,2106 1363157995074,4116,1432 136315799
mapreduce 单词统计 案例
mapreduce 单词统计 案例 一、Hadoop MapReduce 构思体现在如下的三个方面: 1.如何对付大数据处理:分而治之 2.构建抽象模型:Map 和 Reduce Map: 对一组数据元素进行某种重复式的处理; Reduce: 对 Map 的中间结果进行某种进一步的结果整理。 MapReduce 处理的数据类型是<key,value>键值对 3.统一构架,隐藏系统层细节...
MapReduce项目之气温统计
  在本博文,我们要学习一个挖掘气象数据的程序。气象数据是通过分布在美国全国各地区的很多气象传感器每隔一小时进行收集,这些数据是半结构化数据且是按照记录方式存储的,因此非常适合使用 MapReduce 程序来统计分析。   我们使用的数据来自美国国家气候数据中心、美国国家海洋和大气管理局(简称 NCDCNOAA),这些数据按行并以 ASCII 格式存储,其中每一行是一条记录。 下面我们展示一行采...
读取MapReduce统计结果
在信息飞涨的时代,每一个成功的企业后面都有着大量的用户数据分析,所以大数据成为了开发行业的宠儿,掌握大数据也成为了软件从业人员的技能。官方QQ群:612148723。
MapReduce 单词统计编程
No1、mapreduce,‘wordcount案例’编程思路No1-1 :MapReduce运行步骤input -->map -->reduce-->output No1-1-1 : inputinput阶段:将文件中每行的数据转换成一个{key,value}键值对 key:是数据在每行中的偏移量,value:是数据内容 No1-1-2 : mapmap阶段:map获取input输
MapReduce实例----统计平均成绩
1.源数据: 张三 90 李四 100 张三 60 李四 80 王五 88 李四 100 2.代码如下: package com.average; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apa
【MapReduce实例】单词统计
一、实例描述计算出文件中各个单词的频数,要求输出结果按照单词出现的频数进行降序。 比如,输入文件 file1.txt,其内容如下: hello word bye world file2.txt,其内容如下: hello hadoop goodbye hadoop 对应上面给出的输入样例,其输出样例为: 2 hadoop 2 hello 2 worl
MapReduce 单词统计
                                                                       使用hadoop2.7.4 1,首先准备数据,在网上随便抄了一段文章 有一天, 一个外来的僧人要到对面村庄去, 临行前村民反复叮嘱他说: 路途中如若看到路标被风刮倒或被掩埋, 要重新树立起来,以免后面的人迷失方向。 僧人刚上路时, 牢牢记着村民嘱咐,...
mapreduce统计度分布
利用mapreduce编写的统计度分布程序
MapReduce之单词统计
MapReduce之单词统计
MapReduce自定义对象的排序
当我们在使用MapReduce自定义对象时会遇到需要对其进行排序的问题,这时我们就可以通过实现MapReduce的WritableComparable接口实现自定义排序的功能。 这里举一个对员工对象排序的例子。 1. 首先我们创建一个员工对象: public class Emp implements Writable { private int empno; private String...
MapReduce(全局排序)
主要分类两次MapReduce, 最后一次MapReduce 的ReduceTask需要设置为1个 1. 自定义序列化数据类型 package com.gerry.bigdata.mapreduce.pagecountsort; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; ...
MapReduce的排序以及序列化
Hadoop       Hadoop定义了一个Writable接口实现序列化。Wriable有一个子接口WritableComparable,既可以实现序列化,又可以根据key排序。我们在进行MR的序列化和排序时,需要实现这个接口。 自定义排序的步骤:  &amp
mapreduce排序_二次排序
二次排序Partitioner、SortComparator、GroupingComparator Partitioner:完成分区,重写getPartition()函数 SortComparator与GroupingComparator异同: 相同:都要继承WritableComparator对象,构造函数关联bean对象,重写compare()方法. 不同:SortComparator完成的是...
MapReduce之输出结果排序
  前面的案例中我们介绍了统计出每个用户的上行流量,下行流量及总流量,现在我们想要将输出的结果按照总流量倒序排序。 实现思路   MR程序在处理数据的过程中会对数据排序(map输出的kv对传输到reduce之前会排序),排序的依据是map输出的key。所以我们如果要实现自己需要的排序规则,则可以考虑将排序因素放到key中,让key实现接口:WritableComparable,然后重写key的c...
MapReduce实现分组排序
MapReduce实现分组排序 以某次竞赛为例,分别进行如果实现: 取每组中男生前三名成绩和女生前三名成绩按照年龄分组降序输出所有人的成绩等价的SQL 0. 预备知识 0.1 基于MapReduce实现分组、排序: 分组:相当于group by。MapReduce的实现:相当于分区,以求处理手机上网日志为例,把手机号和非手机号分为两组。
MapReduce排序分组(二次排序)
Step1.4第四步中需要对不同分区中的数据进行排序和分组,默认情况按照key进行排序和分组 二次排序 在map阶段 1.使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块 调用自定义Map的map方法,将一个个LongWritable, Text>对输入给Map的map方法。 输出应该符合自定义Map中定义的输出IntPair,
MapReduce排序概述
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
MapReduce三次排序
题目: 20170308,小强,小牛斗地主,22,360手机助手,0.2版本,北京 20170308,小强,小牛斗地主,14,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,13,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,16,360手机助手,0.4版本,北京 20170308,小强,小牛斗地主,18,360手机助手,0.4版本,北京
【Mapreduce】排序与降序
Mapreduce在Map与Reduce之间的处理,会对Key进行升序排序,如果这个Key是Text类型则是按Key的首字母进行升序排序的,如果Key是IntWritable类型,则按大小进行升序排序,利用这点,可以对数据进行排序。 比如如下的数据: 要排成如下的形式: 在Map过程将这些数据摆进Context这个数据字典的时候,除了需要注意类型的匹配以外,还要注意Mapre
MapReduce全局排序细节
一、概念        全局排序是通过将进入map端之前的数据进行随机采样,在采取的样本中设置分割点,通过分割点将数据进行分区二、原理        将设置的分割点保存在二叉树中,Map Task 每输出一个数据就会去查找其对应的区间,以此来达到分区效果三、易忘点(1)全局排序处理的文件内容key----value按照TAB键分割的(例如k    v);(2)Mapper函数的输入数据类型为Tex...
MapReduce排序分类
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
MapReduce辅助排序
一、数据部分如下: 1001 Tmall_01 998 1001 Tmall_06 88.8 1001 Tmall_03 522.8 1002 Tmall_03 522.8 1002 Tmall_04 132.4 1002 Tmall_05 372.4 1003 Tmall_01 998 1003 Tmall_02 8.5 1003 Tmall_04 132.4 需求: 订单id正序,成交金额倒序...
MapReduce功能实现二---排序
一、前N名  TOP-N 情况1: 创建文件并上传到HDFS中 [hadoop@h71 q1]$ vi test.txt a 1000 b 2000 c 90000 d 88 e 999999 f 9998 g 13223 注意:这里的分隔符是/t(Tab键)而不是空格 [hadoop@h71 q1]$ hadoop fs -put test.txt /input
利用MapReduce进行排序
一 排序原理     二 测试样例 输入 file1: 2 32 654 32 15 756 65223 file2: 5956 22 650 92 file3: 26 54 6 输出: 1 12 2 6 3 15 4 22 5 26 6 32 7 32 8 54 9 92 10 650 11 654 12 756 13 59
MapReduce框架排序和分组
前言:         Mapreduce框架就是map->reduce,其中Map中的是偏移量和行值,在其之前会使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites,同时InputFormat提供一个RecordReder的实现。本例子中使用的是TextInputFormat,他提供的RecordReder会将文本的一行的行号
MapReduce之倒排序
MapReduce之倒排序 倒排序索引 简单来讲,倒排序索引就是根据属性的值来进行查找操作,是一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射 倒排序应用 倒排序的目的是产生一个数据集的索引以提供更快搜索说或数据丰富能力,适用于需要快速搜索查询响应的场景 问题描述 通过检索到的网站查找用户ID 样例输入 关于数据集,在《MapReduce设计模式》中并没有明确的...
Mapreduce的排序初步
1. 需求 在得出统计每一个用户(手机号)所耗费的总上行流量、下行流量,总流量结果的基础之上再加一个需求:将统计结果按照总流量倒序排序。 2. 分析 基本思路: 实现自定义的bean来封装流量信息,并将bean作为map输出的key来传输 MR程序在处理数据的过程中会对数据排序(map输出的kv对传输到reduce之前,会排序),排序的依据是map输出的key。所以,我们如果要实现自己需...
MapReduce之反转排序
MapReduce之反转排序 模式描述 反转排序这种设计模式可以用来控制MapReduce框架中归约器值的顺序,通常会在数据分析阶段应用反转排序模式 示例 一个简单的例子,通过计算一个给定文档集中单词的相对频度来展示反转排序模式,这个目标是建立一个NxN的矩阵M,其中,其中N=|V|,V=所有给定文档的单词量,每个单元Mij包含一个特定上下文中单词Wi与单词Wj共同出现的次数,假设我们给定以下单词...
mapreduce排序 中的问题
以下是我从WordCount源码改成功能为排序的代码。rnrn其中输入文件是:rnfile1rn2rn32rn654rn32rn15rn756rn65223rnrnfile2rn5956rn22rn650rnrnfile3rn26rn54rn6rn想要产生的输出文件:rn2 1rn6 2rn15 3rn22 4rn26 5rn32 6rn32 7rn54 8rn650 9rn654 10rn756 11rn5956 12rn65223 13rn如果利用 rnword.set( Integer.parseInt(value.toString()));rn context.write(word, one); rn替换成rn StringTokenizer itr = new StringTokenizer(value.toString()); rn while (itr.hasMoreTokens()) rn word.set( Integer.parseInt(itr.nextToken()));rn context.write(word, one);rn rn则不能够成功产生想要的结果。rn产生的结果如下:rn生成里output文件夹,但是文件夹内没有文件。rn控制台没有输出。rn 其reducer阶段没有执行:rn job.setReducerClass(IntSumReducer.class);rnrn将// job.setCombinerClass(IntSumReducer.class);的注释去掉,能够执行Combiner。rn即控制台能够产生以下输出:rn1 FFFF 2HHH2rn2 FFFF 15HHH15rn3 FFFF 324 FFFF 32HHH32rn5 FFFF 654HHH654rn6 FFFF 756HHH756rn7 FFFF 65223HHH65223rn8 FFFF 22HHH22rn9 FFFF 650HHH650rn10 FFFF 5956HHH5956rn11 FFFF 6HHH6rn12 FFFF 26HHH26rn13 FFFF 54HHH54rn执行了Combiner但没有执行reducer产生里output文件夹但是文件夹中没有文件rnrnrnimport java.io.IOException;rnimport java.util.StringTokenizer;rnrnimport org.apache.hadoop.conf.Configuration;rnimport org.apache.hadoop.fs.Path;rnimport org.apache.hadoop.io.IntWritable;rnimport org.apache.hadoop.io.Text;rnimport org.apache.hadoop.mapreduce.Job;rnimport org.apache.hadoop.mapreduce.Mapper;rnimport org.apache.hadoop.mapreduce.Reducer;rnimport org.apache.hadoop.mapreduce.lib.input.FileInputFormat;rnimport org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;rnimport org.apache.hadoop.util.GenericOptionsParser;rnrnpublic class WordCount rnrn public static class TokenizerMapper rn extends Mapperrn rn private final static IntWritable one = new IntWritable(1);rn private IntWritable word = new IntWritable();rn rn public void map(Object key, Text value, Context contextrn ) throws IOException, InterruptedException rn// 如果将下面2行注释代码和后面的4行替换,不能够成功生成输出文件。rn /*rn word.set( Integer.parseInt(value.toString()));rn context.write(word, one);rn */rn StringTokenizer itr = new StringTokenizer(value.toString()); rn while (itr.hasMoreTokens()) rn word.set( Integer.parseInt(itr.nextToken()));rn context.write(word, one);rn rn rn rn rn public static class IntSumReducer rn extends Reducer rn private IntWritable result = new IntWritable();rn private static int sum = 1;rn public void reduce(IntWritable key, Iterable values, rn Context contextrn ) throws IOException, InterruptedException rn for (IntWritable val : values) rn // System.out.print(sum);rn System.out.print(sum+" FFFF "+key);rn result.set(sum);rn context.write(key, result);rn sum++;rn rn System.out.println("HHH"+key);rn rn rn rnrn public static void main(String[] args) throws Exception rn Configuration conf = new Configuration();rn String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();rn if (otherArgs.length < 2) rn System.err.println("Usage: wordcount [...] ");rn System.exit(2);rn rn @SuppressWarnings("deprecation")rn Job job = new Job(conf, "word count");rn job.setJarByClass(WordCount.class);rn job.setMapperClass(TokenizerMapper.class);rn // job.setCombinerClass(IntSumReducer.class);rn job.setReducerClass(IntSumReducer.class);rn job.setOutputKeyClass(IntWritable.class);rn job.setOutputValueClass(IntWritable.class);rn for (int i = 0; i < otherArgs.length - 1; ++i) rn FileInputFormat.addInputPath(job, new Path(otherArgs[i]));rn rn FileOutputFormat.setOutputPath(job,rn new Path(otherArgs[otherArgs.length - 1]));rn System.exit(job.waitForCompletion(true) ? 0 : 1);rn rnrn产生不一致的结果的原因是什么rnword.set( Integer.parseInt(value.toString()));rn context.write(word, one); rn和rn StringTokenizer itr = new StringTokenizer(value.toString()); rn while (itr.hasMoreTokens()) rn word.set( Integer.parseInt(itr.nextToken()));rn context.write(word, one);rn rn产生的结果有什么不一样。
MapReduce编程(三) 排序
MapReduce编程之排序问题一、问题描述文件中存储了商品id和商品价格的信息,文件中每行2列,第一列文本类型代表商品id,第二列为double类型代表商品价格。数据格式如下
相关热词 c#检测非法字符 c#双屏截图 c#中怎么关闭线程 c# 显示服务器上的图片 api嵌入窗口 c# c# 控制网页 c# encrypt c#微信网页版登录 c# login 居中 c# 考试软件