在YARN中,CPU相关配置参数如下:
• yarn.nodemanager.resource.cpu-vcores :表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个,则需要调减小这个值,而YARN不会智能的探测节点的物理CPU总数。
• yarn.scheduler.minimum-allocation-vcores :单个任务可申请的最小虚拟CPU个数,默认是1,如果一个任务申请的CPU个数少于该数,则该对应的值改为这个数。
• yarn.scheduler.maximum-allocation-vcores :单个任务可申请的最多虚拟CPU个数,默认是32。
对于一个CPU核数较多的集群来说,上面的默认配置显然是不合适的,在我的测试集群中,4个节点每个机器CPU核数为32,可以配置为:
yarn.nodemanager.resource.cpu-vcores
32
yarn.scheduler.maximum-allocation-vcores
128
上面说法是否正确?
例如
物理10台主机,每台CPU30C,
yarn.nodemanager.resource.cpu-vcores 设置29?
yarn.scheduler.minimum-allocation-vcores 默认1
yarn.scheduler.maximum-allocation-vcore 设置300?
该如何设置?