问题遇到的现象和发生背景
YARN.NODEMANAGER.RESOURCE.CPU-VCORES=88;
YARN.NODEMANAGER.RESOURCE.MEMORY-MB=360G;
YARN.SCHEDULER.MINIMUM-ALLOCATION-MB=2G;
YARN.SCHEDULER.MINIMUM-ALLOCATION-VCORES=1;
CDH 6.3.2(Hadoop 3.0)集群上执行一个HIVE SQL或SPARK SQL,如下图日志所示,从任务提交到执行MR任务, 需要70-80秒, 正常情况下,只需5-6秒。任务能正常执行
完毕。执行时,指定了队列且队列资源(CPU & 内存)均较为空闲。请问,调整哪些参数,可以将时间缩短至正常范畴内?
问题相关代码,请勿粘贴截图
00:56:10 Starting Job = job_123456789,Tracking URL=http://MY_NAMENODE.8088/proxy/application_9876543210
00:56:10 Kill Command = /opt/cloudera/parcels/CDH-6.3.2-1/./bin/hadoop job -kill job_123456789
00:57:18 Hadoop job information for Stage-1: number of mappers:1; number of reduces: 0
运行结果及报错内容
我的解答思路和尝试过的方法
调整MR APPLICATION MASTER的OPT参数,调整为850M,内存为2G.
我想要达到的结果
将时间缩短至正常5-6秒