spark和javaweb整合,如何通过页面提交spark任务,并过去结果 5C

首先说一下想要达到的效果,就是网页有一个按钮,用户可以通过按钮提交任务到spark,spark集群运行并得出结果,结果能够返回给页面或者服务器。主要就是有两个问题。第一:如何通过服务器提交spark任务,让spark跑起来,第二:获取spark得出结果,能够在页面显示,或者我能通过程序获取到,有经验的或者有思路的大牛们帮忙解答一下,必有重谢!!!!

2个回答

刚好最近我也刚做完这方面的开发
一:启动集群可以用JSch连接集群master节点,从java端直接输入命令行启动集群
二:Spark实时监听http请求:在spark程序main函数启动sc,紧接着启动jetty的Server,监听自定义端口,我这里使用9998.然后启动集群后就可以通过master:9998/url?params去控制集群,这样节省了集群启动时间,同时也可以把多个计算程序写入一个文件,通过url执行不同程序。

github_37835908
Lcafebabe 然后java端获取spark端结果就用jetty的response传递
大约 3 年之前 回复

做个web service服务,里面起个sparkContext,平时没任务就闲着

有任务了,也就是页面点按钮了,就通过web service接口将请求发送到服务端。服务端就有sparkContext,可以执行任务

执行完以后结果就可以通过web service接口异步回传回去**

qq_15673239
HUNSTOOOjian 请问你通过web service启动服务端spark程序,以及如何获得spark的结果回传到web service 里呢?
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问