大白话西游 2022-03-27 10:00 采纳率: 100%
浏览 98
已结题

Hive的MR引擎或者Tez引擎中reduce的数量到底是由什么决定的?

理论上来说,不是说一种key对应一个reduce吗,但是为什么我这样跑一个任务,对应的key应该是data_dt吧,但是data_dt也没有1000多个呀,为什么有1000多个reduce呢?

img

  • 写回答

2条回答 默认 最新

  • 数仓白菜白 2022-03-27 10:52
    关注

    可以设置reduce的参数的
    set mapreduce.reduce.tasks
    可以直接设置有多少个task

    如果没有指定reduce个数,
    通过hive.exec.reduces.bytes.per.reducer参数来设定每个reducer处理的bytes。
    这个参数越大,reducer就越少。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 4月4日
  • 已采纳回答 3月27日
  • 创建了问题 3月27日

悬赏问题

  • ¥15 求一下解题思路,完全不懂
  • ¥15 tensorflow
  • ¥15 densenet网络结构中,特征以cat方式复用后是怎么进行误差回传的
  • ¥15 STM32G471芯片spi设置了8位,总是发送16位
  • ¥15 R语言并行计算beta-NTI中tree文件的类型
  • ¥15 如何解读marsbar导出的ROI数据?
  • ¥20 求友友协助弄一下基于STC89C52单片机的声光控制灯原理图
  • ¥15 arduino双向交通灯设计
  • ¥15 有没有会粒子群算法的大能(○゜ε^○)求带不会出收敛图😭
  • ¥15 Matlab读取根元素出错