mulangren1988 2017-07-17 06:18 采纳率: 0%
浏览 5452
已结题

MapReduce的过程中,在不同的阶段中间数据是存储在哪里,内存还是本地磁盘还是hdfs?

hadoop的MapReduce的过程中,与spark纯内存计算不同,在不同的阶段中间数据是存储在哪里,内存还是本地磁盘还是hdfs?

  • 写回答

2条回答 默认 最新

  • Vincent_YWY 2021-11-18 11:30
    关注

    map输出结果会先写到缓存中,缓存写满后会产生溢写,把中间结果归并写到本地磁盘中。

    评论

报告相同问题?

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器