在Java web中怎么提交一个spark job任务？

Question

场景与需求：用户在web页面点击某个按钮，然后需要提交一个spark job到spark集群运行。想通过java代码实现与使用spark-submit一样的效果，请问各位大佬应该怎么做？
望各位大佬不吝赐教！求教各位指点迷津！跪谢！
注：spark集群已经有3个spark-client；web项目开发使用的框架是springboot，
web项目部署在websphere服务器上。

Answer 1

spark使用命令行提交任务使用场景很窄，一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口，在这种场景下你应该使用livy。你需要安装livy，才可以用，具体安装文档以及使用文档很多，这里就不多说了。