「已注销」 2017-05-24 09:27 采纳率: 77.4%
浏览 966
已采纳

mapreduce新手求助问题,麻烦了

1.一对map reduce只能属于一个job么?比如,我这个job是求每个学生所有科目的平均值,那么,如果我还要求每门科目的最高分,是还要开一个job写一个map reduce来求最大值么?
2.context只能在文本里输入key value?我就不能自己输点东西进文本么。。

  • 写回答

1条回答 默认 最新

  • 关注

    1、map和reduce是分开的。比如每个学生所有科目的平均值,使用学生id为key,学生的分数作为value。在shuffle的过程中,相关学生id的value将合并在一起。返回给reduce。
    2、context的输入和输出都可以自定义的。通过InputFormat对象和outputformat 对象实现。
    下图是mapreduce的shuffle的过程:
    图片说明

    下图是mapreduce的原理图:
    图片说明

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?