mapreduce中，maptask读取很大的文件会不会将内存撑爆？

Question

mapreduce按块读取数据（默认128M），如果文件很大，那么就会起很多个maptask。每个maptask读取数据后会写入到各自的环形缓冲区（默认100M）。假设有1000个maptask，那么是不是就得需要 1000*100M内存？

Answer 1

我没用过Hadoop，但我还是想叭叭。

我觉得不是啊，如果按块读取大文件确实会启很多歌maptask，每个maptask确实可能超出各自的环形缓冲区造成oom，但还可以溢写呀。先写磁盘里，然后再合并。

瞎叭叭一句，不对再说。