wenjunlong88_easy
2018-11-06 15:11
采纳率: 80.5%
浏览 2.0k
已采纳

在Java web中怎么提交一个spark job任务?

场景与需求:用户在web页面点击某个按钮,然后需要提交一个spark job到spark集群运行。想通过java代码实现与使用spark-submit一样的效果,请问各位大佬应该怎么做?
望各位大佬不吝赐教!求教各位指点迷津!跪谢!
注:spark集群已经有3个spark-client;web项目开发使用的框架是springboot,
web项目部署在websphere服务器上。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • 玄尺 2018-11-07 05:52
    已采纳

    spark使用命令行提交任务使用场景很窄,一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口,在这种场景下你应该使用livy。你需要安装livy,才可以用,具体安装文档以及使用文档很多,这里就不多说了。

    点赞 评论
  • blownewbee 2018-11-06 15:37

    既然你知道用命令行怎么提交任务,那么用java实现就很简单:
    https://www.cnblogs.com/hei-hei-hei/p/7216434.html

    点赞 评论
  • 不理不理左卫门_ 2020-05-21 12:00

    sparkLanuncher

    点赞 评论

相关推荐 更多相似问题