phoenix850121 2019-08-15 13:15 采纳率: 14.3%
浏览 404

YARN中CPU相关配置参数方法疑问

在YARN中,CPU相关配置参数如下:
• yarn.nodemanager.resource.cpu-vcores :表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个,则需要调减小这个值,而YARN不会智能的探测节点的物理CPU总数。
• yarn.scheduler.minimum-allocation-vcores :单个任务可申请的最小虚拟CPU个数,默认是1,如果一个任务申请的CPU个数少于该数,则该对应的值改为这个数。
• yarn.scheduler.maximum-allocation-vcores :单个任务可申请的最多虚拟CPU个数,默认是32。
对于一个CPU核数较多的集群来说,上面的默认配置显然是不合适的,在我的测试集群中,4个节点每个机器CPU核数为32,可以配置为:

yarn.nodemanager.resource.cpu-vcores
32


yarn.scheduler.maximum-allocation-vcores
128

上面说法是否正确?
例如
物理10台主机,每台CPU30C,
yarn.nodemanager.resource.cpu-vcores 设置29?
yarn.scheduler.minimum-allocation-vcores 默认1
yarn.scheduler.maximum-allocation-vcore 设置300?
该如何设置?

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥20 蓝牙耳机怎么查看日志
    • ¥15 R语言 拟时序分析降维图如何减少分支
    • ¥15 Fluent齿轮搅油
    • ¥15 八爪鱼爬数据为什么自己停了
    • ¥15 交替优化波束形成和ris反射角使保密速率最大化
    • ¥15 树莓派与pix飞控通信
    • ¥15 自动转发微信群信息到另外一个微信群
    • ¥15 outlook无法配置成功
    • ¥30 这是哪个作者做的宝宝起名网站
    • ¥60 版本过低apk如何修改可以兼容新的安卓系统