2 crazyh2 CrazyH2 于 2016.03.08 12:31 提问

hadoop中combine,partition和shuffle的疑问

图片说明这是我理解的hadoop函数调用过程,但还是有点疑惑,比如:每个map函数输出都调用一个partition函数(图中为此方式)还是一个partition函数处理所有的map输出,如果图中的过程正确,那么shuffle函数调用发生在哪里?

2个回答

caozhy
caozhy   Ds   Rxr 2016.03.08 12:42
已采纳
CrazyH2
CrazyH2   2016.03.23 15:52

本图画得有问题,首先partitioner函数是在combinationer函数之前执行,patritioner是在map往内存中写数据时发生的,而combinationer是在内存通过spill向硬盘写数据时执行的。
shuffle是一个数据复制的函数,负责将map的输出数据复制到reduce中。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!