Prayer X 2019-09-07 22:32 采纳率: 0%
浏览 305

MapReducer中Reducer是如何完成key的遍历的?

我在学MapReducer时遇到了因为key,value对象重用导致输出异常的情况,当时为验证key,val的重用在reduce中加输出语句输出对象的Hash Code,将不同key放入一个reduce中去执行,结果发现只执行了一次,在查询源码后发现

 public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    try {
      while (context.nextKey()) {
        reduce(context.getCurrentKey(), context.getValues(), context);
        // If a back up store is used, reset it
        Iterator<VALUEIN> iter = context.getValues().iterator();
        if(iter instanceof ReduceContext.ValueIterator) {
          ((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();        
        }
      }
    } finally {
      cleanup(context);
    }

然后我发现是有循环的过程的,在方法中输出key值和context.nextkey()返回为第一个key值和FALSE,也就是说没有了循环的过程,但是结果却是循环完成的。而且context在方法中是一个抽象内部类实现reduceContext接口,context.nextKey()在reduce()方法中是一个抽象方法,并没有给出实现方法,它在哪里实现的?循环的过程又是在哪里完成的?

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2019-10-03 19:27
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 matlab实现基于主成分变换的图像融合。
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制
  • ¥20 usb设备兼容性问题
  • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊