2 u014297175 u014297175 于 2015.06.01 21:54 提问

reduce阶段copy map输出数据细节问题

如果一个作业中存在多个reducer,那每个map函数处理完数据之后都要利用partioner
函数将key/value分区,使其对应相应的reducer,但是最终map会将排好序的数据溢写
到磁盘上,map最后阶段会将所有的溢写文件合并成一个文件。然后是reduce的copy阶段,请问reduce函数copy数据的时候是把整个文件拷贝过去,还是只是从整个文件中截取属于自己分区的key/value记录?

1个回答

llx1943llx
llx1943llx   2015.06.04 10:00
u014297175
u014297175 这两篇文章我之前都看过了,还是没细化到我要问的问题,不过还是谢谢你的回答。
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片