big_bow 2018-02-22 17:04 采纳率: 66.7%
浏览 3282
已采纳

spark 如何 多个application同时运行不报错

如题,在代码层面,已经设置了config的
set("spark.driver.allowMultipleContexts","true")
但是同时两个任务提交的时候还是会出现两个任务都阻塞掉的问题
求教下,这个如何友好的优化,谢谢啦

  • 写回答

6条回答 默认 最新

  • qq_41688011 2018-02-22 17:14
    关注

    在spark的Job Scheduling中介绍了spark多个任务同时执行,相关链接为:

    https://spark.apache.org/docs/1.2.0/job-scheduling.html

    spark要实现多个application同时运行,涉及到多个application的资源共享。在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic Resource Allocation 功能
    
       Dynamic Resource Allocation有一个问题,就是executor空闲的时候,executor会被remove,但是executor执行后的数据结果很可能被其它executor使用,为了解决这个问题spark需要启动external shfuffle service,相关配置为往yarn-site.xml文件加入如下内容:
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(5条)
编辑
预览

报告相同问题?

悬赏问题

  • ¥15 一部手机能否同时用不同的app进入不同的直播间?
  • ¥15 没输出运行不了什么问题
  • ¥20 输入import torch显示Intel MKL FATAL ERROR,系统驱动1%,: Cannot load mkl_intel_thread.dll.
  • ¥15 点云密度大则包围盒小
  • ¥15 nginx使用nfs进行服务器的数据共享
  • ¥15 C#i编程中so-ir-192编码的字符集转码UTF8问题
  • ¥15 51嵌入式入门按键小项目
  • ¥30 海外项目,如何降低Google Map接口费用?
  • ¥15 fluentmeshing
  • ¥15 手机/平板的浏览器里如何实现类似荧光笔的效果
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部