我想用spark-submit提交个springboot的jar包，指定运行main函数是遇到了问题

Question

Answer 1

1、临时解决方法：将spark/work目录下的文件手动删除，之后重新提交application就可以了。

2、修改spark配置文件：在spark-env.sh中加入如下内容

SPARK_WORKER_OPTS=”-Dspark.worker.cleanup.enabled=true”

这样，spark会自动清除已经停止运行的application的文件夹。如果是application一直在运行的话，就会持续向work目录写数据，这样work目录下的文件还是会越来越大
并最终无法写入。因此最好是以上两个方法同时使用，定期手工清理work目录下的文件。