2 qq 21194023 qq_21194023 于 2016.01.19 11:48 提问

MapReduce 时间排序并统计

A文件
1 a 2013-04-01
1 a 2013-04-08
1 a 2013-04-28
2 a 2013-04-08
2 a 2013-11-11
3 a 2016-01-11
求MapReduce代码,实现以前两列为key,比较多个日期从中找出最早最晚时间,并统计出现次数, 如果时间只有一条记录,则最晚最早时间一样,都记录这个时间
B文件
1 a 2013-04-01 2013-04-28 3
2 a 2013-04-08 2013-11-11 2
3 a 2016-01-11 2016-01-11 1

1个回答

enpterexpress
enpterexpress   Rxr 2016.01.19 11:53

源数据

搜索数据

qq_21194023
qq_21194023 大哥,我不是数据库的.
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
MapReduce基础开发之一词汇统计和排序(wordcount)
统计/var/log/boot.log中含k的字符的数量,并对含k的字符按照数量排序。需分两个job完成,一个用来统计,一个用来排序。 一、统计 1、上传文件到hadoop:    1)新建文件夹:hadoop fs -mkdir /tmp/fjs    2)上传文件:hadoop fs -put /var/log/boot.log /tmp/fjs 2、编写wo
MapReduce的TopK统计加排序
Hadoop技术内幕中指出Top K算法有两步,一是统计词频,二是找出词频最高的前K个词。在网上找了很多MapReduce的Top K案例,这些案例都只有排序功能,所以自己写了个案例。 这个案例分两个步骤,第一个是就是wordCount案例,二就是排序功能。 一,统计词频 package TopK; import java.io.IOException; import java.util
用MapReduce处理一组流量数据,并按总流量排序
用MapReduce处理一组流量数据、并排序
MapReduce功能实现四---小综合(从hbase中读取数据统计并在hdfs中降序输出Top 3)
方法一: 在Hbase中建立相应的表1: create 'hello','cf' put 'hello','1','cf:hui','hello world' put 'hello','2','cf:hui','hello hadoop' put 'hello','3','cf:hui','hello hive' put 'hello','4','cf:hui','hello hadoop
MapReduce TopK统计加排序
Hadoop技术内幕中指出Top K算法有两步,一是统计词频,二是找出词频最高的前K个词。在网上找了很多MapReduce的Top K案例,这些案例都只有排序功能,所以自己写了个案例。 这个案例分两个步骤,第一个是就是wordCount案例,二就是排序功能。 一,统计词频 view sourceprint? 01.1 package TopK; 0
hadoop中文分词、词频统计及排序
有如图所示的输入文件。其中第一列代表ip地址,之后的偶数列代表搜索词,数字(奇数列)代表搜索次数,使用"\t"分隔。现在需要对搜索词进行分词并统计词频,此处不考虑搜索次数,可能是翻页,亦不考虑搜索链接的行为。
mongodb的mapreduce的分组统计
m = function (){ emit(this.hs,{customid_count:this.customid,salescountry_count:salescountry,usd_sum:this.usd,num_sum:this.num,compid_count:compid}); } r=function (key,values){ var custom= {};
Hadoop(4-1)-MapReduce程序案例-统计销售商品数量
1.问题陈述: 找出销往各个国家商品数量。 输入: 我们的畋输入数据集合是一个 CSV 文件, Sales2014.csv 输出:国家名 销往次国家的商品数量 商品信息如图所示 2.前提条件: • 本教程是在Linux上开发 • 已经安装了Hadoop(本教程使用版本2.6.5) • 系统上已安装了Java(本教程使用 JDK1.8.0)。 3.步骤
Hadoop—MapReduce练习(数据去重、数据排序、平均成绩、倒排索引)
先以简单的wordcount为例,
Hadoop 2.2.0词频统计(实现自定义的Partitioner和Combiner)
我们以简单的词频统计为例,逐个讲解Map,Reduce,Partition,Combiner的概念和用法。 本例基于Hadoop 2.2.0实测通过。