使用livy提交spark任务失败 80C

post地址:http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错:xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖,我到底是哪里错了?大家有什么解决方案或者建议吗?望各位大咖不吝赐教!跪谢!
截图如下所示,图一:使用postman发送的截图,图二:livy的管理页面
图一:使用postman发送的截图
图片说明

                图二:livy的管理页面

图片说明

    注:在linux服务使用spark-submit提交成功:
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar
0

1个回答

你的spark什么版本?什么模式启动的?根据这条jira issue,估计是2.2版以下的spark只能在cluster模式里面使用hdfs远程jar包。
https://issues.apache.org/jira/browse/SPARK-10643
你要是懒得升版本或者配置cluster模式的话,写个shell,每次先把hdfs jar包拿到本地在调用spark submit好了。

0
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
spark任务提交产生的问题,以及livy解决问题
spark任务提交 spark目前提供python shell和scala shell两种交互式命令行运行Python Shell ./bin/pyspark 运行Scala Shell./bin/spark-shell 比如用户使用spark-shell或是pyspark脚本启动Spark应用程序,伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–Print L...
spark系列-应用篇之通过livy提交Spark任务
前言 上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务。livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,session共享 安装 下载livy0.5.0,下载完成后进行解压。 配置conf/livy.conf文件,设置livy.spark.master = yarn。其他的配置项目,可以根据你的需要来配...
Spark调度-livy 安装使用
1.下载压缩包,解压 https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip unzip  livy-0.5.0-incubating-bin.zip   2.配置环境变量 vim .profile(ubuntu,redhat/centos .bash_p...
利用 livy 远程提交 spark作业
利用 livy 远程提交 spark作业 1. 下载,安装 livy 下载 地址 :http://livy.io/quickstart.html 下载之后,解压即可运行 2. 配置环境变量 export SPARK_HOME=/usr/lib/spark  export HADOOP_CONF_DIR=/etc/hadoop/conf 3.配置主机
Hue中spark 实现提交运行源码过程
Hue中notebook执行spark Job的流程源码分析
livy使用RestAPI提交jar包样例
完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git
使用REST接口调用Spark——Apache Livy使用笔记
0x0 Livy安装与运行 登录官网:http://livy.incubator.apache.org/ 下载最新版 livy。 1. 解压 2. 配置:在conf/livy-env.sh中添加: export SPARK_HOME=path/to/spark export HADOOP_CONF_DIR=/etc/hadoop/conf 进入bin文件执行 #前台模式,...
windows中使用yarn-cluster模式提交spark任务
windows中使用yarn-cluster模式提交spark任务,百度找不着的啦,看我这里。另外spark的版本要使用正确哦
Livy原理详解
概述  当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能以client的模式运行,这会严重影响扩展性。针对这些问题,cloudera研发了Livy,Liv...
Livy 安装使用说明
Livy的local模式,为什么选择Livy,Livy支持的restful;livy hdfs上面的的依赖jar 问题;Livy 提供的关键字参数