spark on yarn 如何修改yarn监控界面的user 5C

我在做一个windows环境下的服务器用于 提交spark任务到yarn集群上的工作,但这样一来,每次提交的任务都是那台服务器的名称,如何动态修改 该值??

3个回答

你说的应该是yarn 任务上显示的用户名吧 这个和spark其实没啥关系 spark只是一种yarn任务而已 你该找找windows上 yarn 怎么设置用户名。

Coder_Lotus
一只有梦想的咸鱼 是这个意思!还请大神指点一二
一年多之前 回复
Coder_Lotus
一只有梦想的咸鱼 额。。好像并没有提到解决我这个问题的方法。。。我现在是可以提交spark程序到yarn集群,并且运行成功的,只是问题在于每个应用程序的用户都是windows提交任务的那台服务器的名称,我如何在提交任务时,自定义application 用户名?
一年多之前 回复

进入yarn.xml文件进行参数修改

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Spark on Yarn
业界全面深入的,专业的Spark培训课程,将帮助您了解和掌握热的大数据处理技术:Spark,它是UC Berkeley ampLab所开源的内存计算框架,不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
Spark on yarn
本课程由多名大数据业界精英呕心沥血精心打造,主要包括视频、交互、实训平台、以及直播课程。视频课程讲解了Linux基本技术、MySQL、Hadoop的基本技术,以及大数据协作框架的基本使用,进而学习大数据生态圈的Hive、HBase的高阶使用,后通过案例与理论结合深入学习Spark实战。然后再通过实训平台及交互课程的大量实训演练,使学者完全掌握大数据系统工程师所应具备技能。
Spark集群部署之Spark on Yarn
本教程从基础的Spark介绍开始,介绍Spark的各种部署模式以及动手进行搭建,然后逐步介绍其中RDD的计算模型,创建和常用的操作,以及其中一些分布式计算,RDD持久化,容错,shuffle机制,共享变量等内容。n而后在RDD的基础上,讲解SparkSQL的子框架,讲解sparkstreaming的子框架,介绍DSTREAM的概念。n后以2个项目来实际带学习者到开发环境中去动手开发,调试。
YARN回顾(七)——Spark在YARN上的运行模式
Spark On Yarn 在YARN上启动Spark应用有两种模式。在cluster模式下,Spark驱动器(driver)在YARN Application Master中运行(运行于集群中),因此客户端可以在Spark应用启动之后关闭退出。而client模式下,Spark驱动器在客户端进程中,这时的YARN Application Master只用于向YARN申请资源。 1 clus...
Spark On Yarn集群环境搭建
一、Scala安装 下载scala安装包,地址:http://www.scala-lang.org/download/ 配置环境变量 下载完成后,解压到指定的目录下,在/etc/profile文件中配置环境变量:export SCALA_HOME=/usr/local/jiang/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin 验证scala
spark on yarn 的运行模式
Spark on Yarn的两种运行模式实战: 此时不需要启动Spark集群,只需要启动Yarn即可,Yarn的ResourceManager就相对于Spark Standalone模式下的Master!(我们启动spark集群是要用到standalone,现在有yarn了,就不用spark集群了)    1、Spark on Yarn的两种运行模式:唯一的决定因素是当前Applicati
spark on yarn启用动态分配
spark on yarn 支持资源的动态分配。           资源请求策略:     一个spark程序使用轮询来请求资源。具体过程如下: 1.如果程序中有任务在等待,超过spark.dynamicAllocation.schedulerBacklogTimeout参数配置的时间(默认是1s),将会得到新的资源,分配executor 2. 如果等待spark.dynamicAll
Spark运行模式之Yarn模式
注:使用此模式前需启动HDFS以及YARN集群 概述 Spark客户端直接连接Yarn,不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式, 主要区别在于:Driver程序的运行节点。 yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出 yarn-cluster:Driver程序运行在由RM(Resour...
Spark配置—Yarn模式
Step 1: 可以尝试先搭建HA模式,然后Yarn模式只是在这个基础上做了一些修改而已 http://blog.csdn.net/ymf827311945/article/details/73822832Step 2: 在node11节点上执行命令:vi ~/.bash_profile source ~/.bash_profile添加如下属性:export HADOOP_INSTALL=
Spark ON YARN 官方中文版
官网http://spark.apache.org/docs/latest/running-on-yarn.html在YARN上运行Spark在Yarn(Hadoop NextGen)上运行的支持 已在0.6.0版中添加到Spark中,并在后续版本中得到改进。在YARN上启动Spark确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这...
spark yarn集群.
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark ON YARN 工作原理
<p>rn <span style="color:#424242;">本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。</span> rn</p>rn<p>rn <span style="color:#424242;"><br />rn</span> rn</p>
Spark 中 Yarn 运行模式
简介 spark 的 yarn 运行模式根据Driver 在集群中的位置分成两种: 1)yarn-client客户端模式 2)yarn-cluster集群模式 yarn 模式和 standalone 模式不同,standalone 模式需要启动 spark 独立集群,这样 SparkContext 才能与 Master 进行交互通信。而 yarn 模式的资源管理全部托管给的 Reso...
spark 配置:yarn集群
http://www.cnblogs.com/onetwo/p/5424377.html 1. 规划 1.1 硬件 华白:master+slave3: master: 192.168.1.101 slave3:192.168.1.203 华台:slave1+slave2 192.168.1.201 192.168.1.202 1.2 软件版本 VMware-Fusi
spark on yarn 配置及异常解决
转载请务必注明原创地址为:http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器,它可以让多种数据处理框架运行在一个共享的资源池上,并且通常安装在与Hadoop 文件系统(简称HDFS)相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的,它可以让Spark 在存储数据...
Spark ON YARN集群搭建
<p>rn <span style="color:#424242;">本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。</span> rn</p>rn<p>rn <span style="color:#424242;"><br />rn</span> rn</p>
spark on yarn 异常记录二
通过spark-submit 向集群提交任务时,–num-executors 数量大于1即会出现异常,异常如下:17/06/04 11:47:03 WARN DefaultChannelPipeline: An exception 'java.lang.NoSuchMethodError: org.apache.spark.network.client.TransportClient.getChan
Spark动态资源分配在yarn的配置
配置文件$SPARK_HOME/conf/spark-defaults.conf$HADOOP_HOME/conf/yarn-site.xml1、启用动态资源分配功能在spark-defaults.conf 中添加spark.dynamicAllocation.enabled=true配置其他参数:spark.dynamicAllocation.minExecutors 最小executor数量s...
Spark On Yarn的执行流程及应用场景
一、driver 运行在集群中(cluster模式) 1、client 向 yarn 提交一个job 2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster,NM启动AppMaster,Appmaster 启动 driver 3、ApplicationMaster 启动后完成初始化作业,driver 生成一系列task 4、AM ...
spark的job在yarn的资源分配
资源 现在有6台机器 每台机器16个core 64g的内存 资源分配 6Node 16core/台 64g/台 现可用资源一共96个core 384g ;每台机器预留1core和1g;那么剩下90个core 378g的可用资源 分配core core=5 官方定义超过5会对hdfs吞吐量造成影响 也就是说每个executor最多可以同时运行5个core 分配executor 用剩余的core除以每...
如何安装yarn和使用yarn ?
这是2019 react入门到高级新课程<br />rn<br />rn学习react,不仅能带来技术提升,同时提高开发效率和体验,更能带来好的就业机会。<br />rn<br />rn本课程主要分为以下几个部分:&nbsp;<br />rn<br />rn一,前端工程化基础?<br />rn<br />rn&nbsp;主要学习node和npm、yarn的基本用法&nbsp;<br />rn<br />rn二,es6语法<br />rn<br />rn学习必备的es6常用语法 。<br />rn<br />rn三,react基础知识&nbsp;<br />rn<br />rn学习如何搭建react项目,以及react组件,jsx语法、css处理方案、生命周期等基础知识。 并且根据这些知识开发一个个人网站。<br />rn<br />rn四,react进阶知识??<br />rn学习表单的处理,事件处理,Portals的使用,以及数据请求和API管理等进阶知识。<br />rn<br />rn五,react高阶知识??<br />rn学习react高级特性,react hooks,以及整个react生态体系的构成和应用 。<br />rn<br />rn努力学习哟,带你精通react。<br />
yarn、spark配置优化
在内存和磁盘很大的集群上装好ambari之后对yarn和spark相关的配置做如下优化修改 yarn: 每个节点可申请的内存应该配置到节点总内存的百分之八十左右。   每个节点可申请的cpu核数需要配置到机器cpu核数的最大 如果连接hiveserver2、spark thrift server 的数量很大需要调大     spark:  spark并行执行
Spark on Yarn的运行原理
一、YARN是集群的资源管理系统 1、ResourceManager:负责整个集群的资源管理和分配。 2、ApplicationMaster:YARN中每个Application对应一个AM进程,负责与RM协商获取资源,获取资源后告诉NodeManager为其启动Container。 3、NodeManager:每个节点的资源和任务管理器,负责启动/停止Container,并监视资源使用情况
Spark在Yarn上的动态资源分配
参考地址:http://spark.apache.org/docs/1.5.2/job-scheduling.html#configuration-and-setup 1.配置hadoop/etc/yarn-site.xml   yarn.nodemanager.aux-services   mapreduce_shuffle,spark_shuffle   yar
Spark Yarn 提交作业
初学Spark时,部署的是Standalone模式(集成了HA),写的测试程序一般创建上下文时如下: 此处master设置为管理节点的集群地址(spark webui上显示的地址) 。 之后将测试代码打包成jar包,上传到服务器,使用spark-submit提交作业。 提交命令: spark-submit --master spark://s44:7077 --name MyWor...
Spark的YARN模式部署
1:Spark的编译 Spark可以通过SBT(Scala Build Tool)或者Maven来编译,官方提供的二进制安装文件是用Maven编译,如果是要在YARN集群上运行的话,还需要再用SBT编译一下,生成YARN client端使用的jar包;最好是直接对源码使用SBT进行编译而生成YARN client端使用的jar包。笔者在测试过程中,对Maven编译过的Spark进行SBT二次编...
spark on yarn 概念问题
最近在搞spark相关的东西,有些概念问题请教一下大家rnrn1、spark on yarn 这个架构,是否适合实时计算?还是只用于离线计算??rn2、如果我需要实现web调用spark,应该怎么去做??有些场景我需要获取spark运行后的结果,这该怎么办??rn3、我在网上看了很多例子,java里可以用sparkContext来调用spark,但是在设置master的时候,官网只指出可以填master Cluster URL to connect to (e.g. mesos://host:port, spark://host:port, local[4]). 并没有yarn的cluster和client模式rn4、有些代码直接写setMaster("yarn-cluster"),问题来了,设置这样的一个字符串,程序如何知道spark的地址是什么,如何知道yarn的地址是什么?我的程序和spark集群并不在一台机器上,我觉得这肯定是有问题的rnrn这几个问题困扰了我很久,求大神们指点~~~rn
Spark on yarn集群部署与测试运行
基于Hadoop CDH5和Spark新版本2.3.2详细讲述了大数据各种技术,包括HDFS、YARN、MapReduce、Hive、HBase、Flume、Kafka、Hue、Spark Streaming,Spark SQL、Spark Structured Streaming。主要内容包括MapReduce项目离线处理、Hive与HBase大数据分析与挖掘、Hue大数据项目可视化、Spark SQL大数据项目离线分析、Spark Streaming 大数据项目实时分析,Spark Structured Streaming大数据项目实时分析,Web项目可视化。rn
(九)Spark学习笔记之Spark on Yarn
Spark on yarn Spark 支持可插拔的集群管理器(standalone,yarn),集群管理器负责启动 executor 进程。Spark 支持四种集群管理器模式:standalone,mesos,yarn,kubernets。前三种集群模式是由两个组件组成:master 和 slave。Master 服务(YARN ResourceManager, Mesos master,spa...
【Spark十九】Spark on YARN部署
不知不觉,已经到了Spark的第19篇博客了,这个系列很不系统,基本上是学到哪写到哪,而不是成竹在胸之后,高屋建瓴的写,这个等到对Spark有了比较深刻的理解和把握之后再来整理这些博客,毕竟刚接触Spark10天,继续! 在之前的文章中,Spark都是使用默认的伪分布式部署方式,没有从系统部署的角度去审视Spark,目前的状态是能运行Spark能跑通例子的程度,在此之前,Spark的配置文件...
Spark on YARN 的两种模式
目前 Apache Spark 支持四种模式 分别是 local:开发模式使用 Standalone:Spark 自带模式,即独立模式,自带完整服务,可以单独部署到一个集群中。目前 Spark 在 standalon 模式下是没有单点故障问题,通过 zookeeper 实现的。架构和 MapReduce 是完全一样的。 Spark On Mesos :官方推荐这种模式,目前而言,Spark 运...
hive on spark(yarn)安装部署
〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了,后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章,包括官网上的教程,一路摸索着,总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...
yarn模式运行spark
yarn上启动spark有二种模式:yarn-client模式 和 yarn-cluster模式 yarn-cluster模式:框架在集群中启动Driver程序 yarn-client模式:框架在client中启动Driver程序 master 参数可以简单配置成yarn-client 或者 yarn-cluster ./bin/spark-submit --class 类名 --mast
Spark On Yarn安装和使用
已经搭建好Hadoop2.6了,现在准备在yarn上搭建spark。 一.安装Scala 1.解压 tar -xvzf scala-2.10.6.tgz 2.添加环境变量 vim  ~/.bashrc export SCALA_HOME=/usr/local/src/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin source一下,查看...
Spark on Yarn的内存分配
文章目录1 初始化配置2 ApplicationMaster(AM)的相关配置2.1 amMemory2.2 amMemoryOverhead 1 初始化配置 // 初始化yarn client private val yarnClient = YarnClient.createYarnClient // 初始化hadoop配置 private val hadoopConf = new YarnC...
Spark ON YARN集群部署与测试运行
本课程为项目实战课,项目各个环节既深入讲解理论知识,又结合项目业务进行实操,从而达到一站式掌握大数据离线项目。
YARN内存监控
本次课程让学员全面系统地学习大数据平台运维,开发的操作。课程内容涉及到大数据生态系统的各项工具,内容全面,讲解细致,助您全面掌握大数据平台运维及开发工具的作用
Spark on yarn模式报错
代码如下图rn[img=https://img-bbs.csdn.net/upload/201805/08/1525772069_427481.png][/img]rn但是报错了,不知道什么原因,在网上也没找到具体的解决方法,报错如下图rn[img=https://img-bbs.csdn.net/upload/201805/08/1525772178_608286.png][/img]rn[img=https://img-bbs.csdn.net/upload/201805/08/1525772189_994528.png][/img]
Spark yarn执行方式
./bin/spark-submit --class org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2 --master yarn --deploy-mode client /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar 1000注释:1.  org...
【Spark】on Yarn 模式安装配置
在安装spark前先安装scala 下载Scala 上传到/opt/modules/softwares目录并解压到/opt/modules目录下 root@master:/opt/softwares# ll total 745404 drwxr-xr-x 2 root root 4096 6月 12 17:08 ./ drwxr-xr-x 7 root root 4096 6...
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview