Break丶It 2017-06-15 02:38 采纳率: 0%
浏览 3500
已结题

spark和javaweb整合,如何通过页面提交spark任务,并过去结果

首先说一下想要达到的效果,就是网页有一个按钮,用户可以通过按钮提交任务到spark,spark集群运行并得出结果,结果能够返回给页面或者服务器。主要就是有两个问题。第一:如何通过服务器提交spark任务,让spark跑起来,第二:获取spark得出结果,能够在页面显示,或者我能通过程序获取到,有经验的或者有思路的大牛们帮忙解答一下,必有重谢!!!!

  • 写回答

2条回答

  • Lcafebabe 2017-08-26 14:47
    关注

    刚好最近我也刚做完这方面的开发
    一:启动集群可以用JSch连接集群master节点,从java端直接输入命令行启动集群
    二:Spark实时监听http请求:在spark程序main函数启动sc,紧接着启动jetty的Server,监听自定义端口,我这里使用9998.然后启动集群后就可以通过master:9998/url?params去控制集群,这样节省了集群启动时间,同时也可以把多个计算程序写入一个文件,通过url执行不同程序。

    评论

报告相同问题?

悬赏问题

  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集
  • ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
  • ¥15 电力市场出清matlab yalmip kkt 双层优化问题
  • ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)