wenjunlong88_easy 2018-11-06 15:11 采纳率: 75%
浏览 2158
已采纳

在Java web中怎么提交一个spark job任务?

场景与需求:用户在web页面点击某个按钮,然后需要提交一个spark job到spark集群运行。想通过java代码实现与使用spark-submit一样的效果,请问各位大佬应该怎么做?
望各位大佬不吝赐教!求教各位指点迷津!跪谢!
注:spark集群已经有3个spark-client;web项目开发使用的框架是springboot,
web项目部署在websphere服务器上。

  • 写回答

3条回答 默认 最新

  • 玄尺 2018-11-07 05:52
    关注

    spark使用命令行提交任务使用场景很窄,一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口,在这种场景下你应该使用livy。你需要安装livy,才可以用,具体安装文档以及使用文档很多,这里就不多说了。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥100 读取 IMU BNO080 数据
  • ¥15 基于RTKLIB框架写的精密单点定位-AR
  • ¥15 PFENet的预训练权重
  • ¥15 程序哪有错误怎么改?
  • ¥15 交换机和交换机之间的链路带宽以及主机带宽的理解
  • ¥15 ai创想家对战模式代码
  • ¥15 集合A由3个2行4列二维数组构成,从集合A中任意取一个二维数组元素、如果该二维数组元素的对应列位置的上、下两数都是奇数,而且仅有2个列是奇数/奇数,则该数组有意义,并放入集合B中打印输出。
  • ¥15 电信IPV6 无法外网访问吗
  • ¥15 有偿求效果比较好的遥感影像匹配的c++代码
  • ¥15 博主,你好,我下载了你的智能网联汽车辅助驾驶安全信息检测系统,现在不会运行,可以教我吗,