spark 如何 多个application同时运行不报错

Question

如题，在代码层面，已经设置了config的
set("spark.driver.allowMultipleContexts","true")
但是同时两个任务提交的时候还是会出现两个任务都阻塞掉的问题
求教下，这个如何友好的优化，谢谢啦

Answer 1

在spark的Job Scheduling中介绍了spark多个任务同时执行，相关链接为：

https://spark.apache.org/docs/1.2.0/job-scheduling.html

spark要实现多个application同时运行，涉及到多个application的资源共享。在spark on yarn模式下，yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源，需要使用spark的Dynamic Resource Allocation 功能

   Dynamic Resource Allocation有一个问题，就是executor空闲的时候，executor会被remove，但是executor执行后的数据结果很可能被其它executor使用，为了解决这个问题spark需要启动external shfuffle service，相关配置为往yarn-site.xml文件加入如下内容：