「已注销」 2017-05-24 09:27 采纳率: 77.4%
浏览 966
已采纳

mapreduce新手求助问题,麻烦了

1.一对map reduce只能属于一个job么?比如,我这个job是求每个学生所有科目的平均值,那么,如果我还要求每门科目的最高分,是还要开一个job写一个map reduce来求最大值么?
2.context只能在文本里输入key value?我就不能自己输点东西进文本么。。

  • 写回答

1条回答 默认 最新

  • 关注

    1、map和reduce是分开的。比如每个学生所有科目的平均值,使用学生id为key,学生的分数作为value。在shuffle的过程中,相关学生id的value将合并在一起。返回给reduce。
    2、context的输入和输出都可以自定义的。通过InputFormat对象和outputformat 对象实现。
    下图是mapreduce的shuffle的过程:
    图片说明

    下图是mapreduce的原理图:
    图片说明

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 基于卷积神经网络的声纹识别
  • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 stm32开发clion时遇到的编译问题