AlexXu2007 2022-01-07 18:59 采纳率: 0%
浏览 97

Hadoop 提交任务到执行任务 耗时变长,该如何处理

问题遇到的现象和发生背景

YARN.NODEMANAGER.RESOURCE.CPU-VCORES=88;
YARN.NODEMANAGER.RESOURCE.MEMORY-MB=360G;
YARN.SCHEDULER.MINIMUM-ALLOCATION-MB=2G;
YARN.SCHEDULER.MINIMUM-ALLOCATION-VCORES=1;

CDH 6.3.2(Hadoop 3.0)集群上执行一个HIVE SQL或SPARK SQL,如下图日志所示,从任务提交到执行MR任务, 需要70-80秒, 正常情况下,只需5-6秒。任务能正常执行
完毕。执行时,指定了队列且队列资源(CPU & 内存)均较为空闲。请问,调整哪些参数,可以将时间缩短至正常范畴内?

问题相关代码,请勿粘贴截图

00:56:10 Starting Job = job_123456789,Tracking URL=http://MY_NAMENODE.8088/proxy/application_9876543210
00:56:10 Kill Command = /opt/cloudera/parcels/CDH-6.3.2-1/./bin/hadoop job -kill job_123456789
00:57:18 Hadoop job information for Stage-1: number of mappers:1; number of reduces: 0

运行结果及报错内容
我的解答思路和尝试过的方法

调整MR APPLICATION MASTER的OPT参数,调整为850M,内存为2G.

我想要达到的结果

将时间缩短至正常5-6秒

  • 写回答

2条回答 默认 最新

  • 陈猿解码 2022-01-08 08:40
    关注

    建议先分析是哪里慢了?
    执行SQL 到MR任务提交到yarn耗时多少?
    MR任务从提交到yarn, 到任务变成running状态耗时多少?
    MR任务执行时间又是耗时多少?

    评论

报告相同问题?

问题事件

  • 创建了问题 1月7日

悬赏问题

  • ¥20 双层网络上信息-疾病传播
  • ¥50 paddlepaddle pinn
  • ¥15 Stata 面板数据模型选择
  • ¥20 idea运行测试代码报错问题
  • ¥15 网络监控:网络故障告警通知
  • ¥15 django项目运行报编码错误
  • ¥15 请问这个是什么意思?
  • ¥15 STM32驱动继电器
  • ¥15 Windows server update services
  • ¥15 关于#c语言#的问题:我现在在做一个墨水屏设计,2.9英寸的小屏怎么换4.2英寸大屏