2 perfectwangandy PerfectWangAndy 于 2017.08.28 20:15 提问

MapReduce程序中的map方法怎么写?

/*
MapReduce程序中的map方法的输入来自于多个表的时候,
getRow()方法返回的是哪个表的KeyRow ?
*/
public class MyMap extends TableMapper {
@Override
protected void map(ImmutableBytesWritable mapInputKey, Result mapInputValues,
Mapper.Context context)
throws IOException, InterruptedException {
//mapInputValues来自于多个表:TableA、TableB、TableC......
String rowKey = new String(mapInputValues.getRow());//此处的row key是哪个表的?为什么?
//code......
}

}


2个回答

devmiao
devmiao   Ds   Rxr 2017.08.28 23:55
huang931027
huang931027   Rxr 2017.08.29 09:14

map的思想就是把很多的数据进行一个拆分。方便最后进行reduce ,不知道你要做什么样的东西,但是建议,先把思想搞清楚这样方便写代码

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
MapReduce的写法
转载地址为http://blog.jobbole.com/84089/ 觉得确实写的不错,挺详细的。很适合我这种新手。 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这
MapReduce算法形式六:只有Map独自作战
案例六:Map独自直接输出 之前一直没有用过这个map独自输出的模式,就算是输出一些简单的我也会经过一次 reduce输出,但是,发现这个map输出的结果跟我预想的有点不一样,我一直以为 shuffle的过程会在map结尾,reduce开头进行,会有合并的,可是shuffle只做了分 区,排序,然后就直接罗列出来了,这算是涨姿势了,之前理解的合并,归约还是有点
在Windows下用eclipse写MapReduce程序
DFS Location我想使用hadoop-eclipse插件来处理DFS和写MR,于是今天就配置了一下。 基本上是按照“文献1”进行的,但是出现了这种问题(图是从别处扒来的,当时没截图): 如果将Host设为一个不存在的地址,或者将端口改成一个其他的,会在稍长一段时间才提示不能连接,而现在的情况是在很快的时间里就提示了这个无法连接的消息。基本可以判断,是服务器拒绝服务了。根据“文献2”的提示
java编写MapReduce
很多朋友不清楚如何用java来编写MapReduce,今天小编整理了科多大数据马老师提供的相关资料,希望大家有帮助首先,创建一个类为WordMap需要继承org.apache.hadoop.mapreduce.Mapper类,该类有四个泛型(in key类型,in value类型,outkey类型,out value类型)Long(偏移量)一般不会使用in value类型,表示是一行的内容(str...
Scala 开发简单mapreduce 程序
看到这篇文章,肯定会有人问,“为什么要用scala来写MR, java写不是更自然?”  关于这个我问题,我个人的原因是: scala 写代码很简洁,而且我很享受这种体验。对于其它scala程序员来说,可能是因为所有项目都是用scala写,而且写scala更熟练些。对于这部分人非得用MR来解决的问题,那他一定有很充分的理由。       归正题吧, 下面讲讲用如何上手操作吧!! 鉴于大家使用的I
mapreduce中map处理过程?参数如何解析传递给map方法?
1.首先介绍一下wordcount 早mapreduce框架中的 对应关系 大家都知道 mapreduce 分为 map 和reduce 两个部分,那么在wordcount例子中,很显然 对文件word 计数部分为map,对 word 数量累计部分为 reduce; 大家都明白  map接受一个参数,经过map处理后,将处理结果作为reduce的入参分发给reduce,然后在reduc
大数据——从零开始写MapReduce程序
大数据—从零开始写MapReduce程序 brycezou@163.com 1、在Mac上配置Hadoop 1)安装 JAVA 1.7.0_79,用 java -version 检验是否安装成功。 2)下载 Hadoop-2.7.1,解压缩,配置环境变量。 #在 ~/.bash_profile 文件中进行配置 export HADOOP_HOME=/Users/b
MapReduce setup()和cleanup()方法
setup() 此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中,导致Mapper任务在解析每一行输入时都会进行资源初始化工作,导致重复,程序运行效率不高! cleanup() 此方法被MapReduce框架仅且执行一次,在执行完毕Map任务后,进行相关变量或资源的释放工作。若是将释放资源工作放入方法
hadoop如何执行自己编写的MapReduce程序
比如我们现在写好了一个mapred程序如下: package com.besttone.mapred; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; impo
mapreduce中的setup()与cleanup()的使用
hadoop中的MapReduce框架里已经预定义了相关的接口,其中如Mapper类下的方法setup()和cleanup()。 setup(),此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中,导致Mapper任务在解析每一行输入时都会进行资源初始化工作,导致重复,程序运行效率不高!cleanup