Aaron_Wjf 2015-06-01 13:54 采纳率: 50%
浏览 2476

reduce阶段copy map输出数据细节问题

如果一个作业中存在多个reducer,那每个map函数处理完数据之后都要利用partioner
函数将key/value分区,使其对应相应的reducer,但是最终map会将排好序的数据溢写
到磁盘上,map最后阶段会将所有的溢写文件合并成一个文件。然后是reduce的copy阶段,请问reduce函数copy数据的时候是把整个文件拷贝过去,还是只是从整个文件中截取属于自己分区的key/value记录?

  • 写回答

1条回答 默认 最新

  • llx1943llx 2015-06-04 02:00
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 cgictest.cgi文件无法访问
  • ¥20 删除和修改功能无法调用
  • ¥15 kafka topic 所有分副本数修改
  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化?(包含心率信息))
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops?
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口,同时实现向pc一边投屏一边上传数据的解决方案。