提交YARN任务时如何正确指定资源队列？

Question

**提交YARN任务时如何正确指定资源队列？** 在使用YARN提交分布式任务（如Spark、MapReduce）时，如何正确指定资源队列以实现资源隔离和调度优先级控制，是集群管理中的关键操作。用户常通过命令行参数或配置文件指定队列，但有时仍会遇到任务提交失败、资源分配不符合预期等问题。例如，`-Dyarn.queue=xxx`或`--queue`参数的使用方式容易混淆，或因队列权限、资源限制导致任务被拒绝。本文将解析YARN任务提交时指定资源队列的正确方法，涵盖Hadoop、Spark等常见框架的配置方式，并分析常见错误原因及排查思路，帮助开发者和运维人员更高效地管理任务资源分配。

Answer 1

提交YARN任务时如何正确指定资源队列？

在使用YARN（Yet Another Resource Negotiator）进行任务调度时，资源队列的指定是实现资源隔离、优先级调度和多租户管理的重要手段。本文将从基础概念入手，逐步深入到实际操作、常见问题与排查方法，帮助开发者和运维人员掌握YARN任务中资源队列的正确指定方式。

1. YARN资源队列的基本概念

YARN的资源调度器（如Capacity Scheduler、Fair Scheduler）支持将集群资源划分为多个队列（Queue），每个队列可以设置资源容量、访问权限、抢占策略等。常见的队列配置包括：

• Capacity Scheduler：基于容量的调度器，支持层级队列，适合多租户场景。
• Fair Scheduler：默认资源公平分配，适合资源利用率优先的场景。

每个队列可以配置如下参数（以Capacity Scheduler为例）：

参数	说明
yarn.scheduler.capacity.maximum-capacity	最大资源容量（百分比）
yarn.scheduler.capacity.minimum-user-limit-percent	用户最小资源限制
yarn.scheduler.capacity.maximum-am-resource-percent	ApplicationMaster最大资源占比

2. 在命令行中指定资源队列

在提交任务时，可以通过命令行参数直接指定队列。不同框架的语法略有不同：

2.1 Hadoop MapReduce任务

hadoop jar hadoop-mapreduce-client-jobclient-*.jar TestDFSIO \
  -write -nrFiles 10 -size 1GB \
  -Dmapreduce.job.queuename=default

2.2 Spark任务（Standalone模式以外）

spark-submit \
  --master yarn \
  --queue default \
  --deploy-mode cluster \
  your_spark_application.jar

2.3 Hive on Tez/Spark

SET mapreduce.job.queuename=default;
SET hive.exec.queue.name=default;

3. 通过配置文件指定资源队列

除了命令行，也可以通过配置文件定义默认队列，适用于统一管理或避免重复输入。

3.1 修改yarn-site.xml中的默认队列

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>default,high-priority,low-priority</value>
</property>

3.2 Spark配置（spark-defaults.conf）

spark.yarn.queue default

4. 常见错误及排查思路

即使正确指定了队列，也可能因权限、资源不足或配置错误导致任务失败。

4.1 错误示例与原因分析

错误信息	可能原因
Queue default does not exist or is not accessible by user	队列不存在或用户无权限访问
Failed to submit application to queue: queue is full	队列资源已满或达到最大并发限制
ApplicationMaster failed to launch	AM资源不足，或队列AM资源限制过低

4.2 排查步骤

1. 检查YARN调度器类型及队列配置：yarn.scheduler.class
2. 查看队列状态：yarn queue -list
3. 查看用户权限：yarn queue -showAcl
4. 检查队列资源容量：yarn node -list -showDetails
5. 查看具体任务日志：yarn logs -applicationId <appId>

5. 图解任务提交流程与资源队列的关系

graph TD A[Client Submit Application] --> B[ResourceManager] B --> C{Queue Check} C -->|Queue Exist & Accessible| D[Allocate Resource] C -->|Permission Denied| E[Reject Application] D --> F[ApplicationMaster Launch] F --> G[Container Allocation] G --> H[Task Execution]