spark 如何 多个application同时运行不报错

如题,在代码层面,已经设置了config的
set("spark.driver.allowMultipleContexts","true")
但是同时两个任务提交的时候还是会出现两个任务都阻塞掉的问题
求教下,这个如何友好的优化,谢谢啦

6个回答

在spark的Job Scheduling中介绍了spark多个任务同时执行,相关链接为:

https://spark.apache.org/docs/1.2.0/job-scheduling.html

spark要实现多个application同时运行,涉及到多个application的资源共享。在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic Resource Allocation 功能

   Dynamic Resource Allocation有一个问题,就是executor空闲的时候,executor会被remove,但是executor执行后的数据结果很可能被其它executor使用,为了解决这个问题spark需要启动external shfuffle service,相关配置为往yarn-site.xml文件加入如下内容:
big_bow
big_bow 谢谢,在研究mesos 搭建spark这种方式了
2 年多之前 回复

spark2.x运行多个application是可以的啊,一个spark application只能启动一个SparkContext,你想运行多个 application把spark程序打包,多次提交就可以了,不知道是不是我理解错了,你是不是想一个SaprkContext中,运行多个应用程序,SparkContext感觉和tomcat一样,而你想运行多个web程序?

spark2.x运行多个application是可以的啊,一个spark application只能启动一个SparkContext,你想运行多个 application把spark程序打包,多次提交就可以了

参考这个例子:
SparkConf conf = new SparkConf();
conf.setAppName("Spark MultipleContest Test");
conf.set("spark.driver.allowMultipleContexts", "true");
conf.setMaster("local");

SparkContext sc = new SparkContext(conf);
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

//Create a Java Context which is the same as the scala one under the hood
JavaSparkContext.fromSparkContext(sc)

big_bow
big_bow 这个测试过了的,行不通的
2 年多之前 回复

park要实现多个application同时运行,涉及到多个application的资源共享。在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic Resource Allocation 功能

在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic Resource Allocation 功能

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问