web提交Spark到yarn方案。。求助

现在要求是web后台调用spark,spark在yarn上跑。(这里web服务器和yarn在不同的服务器上)。。我能想到的方法就是spark打成jar包,web后台去执行脚本/命令。。。有没有不用打jar包的方法啊。。。。求助

2个回答

楼主说“web服务器和yarn在不同的服务器上” 如果真是这样 web服务器怎么取执行yarn所在集群的命令或脚本呢? 纯好奇!勿怪!

guihe8135
guihe8135 web服务器上有spark的配置和hadoop配置,在执行脚本的时候纯用spark作为一个客户端
大约 3 年之前 回复

方案已经有了。。。具体请看org.apache.spark.deploy.yarn.Client.Client(ClientArguments args, Configuration hadoopConf, SparkConf sparkConf)这个类的使用方法

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐