用Sparklaunch 提交spark任务时间过长

Question

在代码里面：

SparkLauncher launcher = null;
launcher.setAppResource(SPARK_JAR);
launcher.setMainClass(SPARK_MAIN_CLASS);
launcher.setMaster(master);
launcher.setDeployMode(deployMod);
...
launcher.startApplication()

运行这个代码，监控spark任务状态，状态为submitting的时间大概有三十秒，也就是提交spark任务就花费了30s，请问有什么办法将时间缩短吗？

Answer 1

Spark解决task任务运行时间过长_baifanwudi的专栏-CSDN博客 今天补数据的时候，发现突然任务运行时间比以往过长。查看运行状态，发现有一个task运行过长。解决方法，开启spark.speculation，配置如下：spark.speculation truespark.speculation.interval 100：检测周期，单位毫秒；spark.speculation.quantile 0.75：完成task的百分比时启动推测；spark.s... https://blog.csdn.net/baifanwudi/article/details/89377890

看看这篇是否有帮助