使用livy提交spark任务失败 80C

post地址:http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错:xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖,我到底是哪里错了?大家有什么解决方案或者建议吗?望各位大咖不吝赐教!跪谢!
截图如下所示,图一:使用postman发送的截图,图二:livy的管理页面
图一:使用postman发送的截图
图片说明

                图二:livy的管理页面

图片说明

    注:在linux服务使用spark-submit提交成功:
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar
0

1个回答

你的spark什么版本?什么模式启动的?根据这条jira issue,估计是2.2版以下的spark只能在cluster模式里面使用hdfs远程jar包。
https://issues.apache.org/jira/browse/SPARK-10643
你要是懒得升版本或者配置cluster模式的话,写个shell,每次先把hdfs jar包拿到本地在调用spark submit好了。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark任务提交产生的问题,以及livy解决问题
spark任务提交 spark目前提供python shell和scala shell两种交互式命令行运行Python Shell ./bin/pyspark 运行Scala Shell./bin/spark-shell 比如用户使用spark-shell或是pyspark脚本启动Spark应用程序,伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–Print L...
spark系列-应用篇之通过livy提交Spark任务
前言 上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务。livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,session共享 安装 下载livy0.5.0,下载完成后进行解压。 配置conf/livy.conf文件,设置livy.spark.master = yarn。其他的配置项目,可以根据你的需要来配...
利用 livy 远程提交 spark作业
利用 livy 远程提交 spark作业 1. 下载,安装 livy 下载 地址 :http://livy.io/quickstart.html 下载之后,解压即可运行 2. 配置环境变量 export SPARK_HOME=/usr/lib/spark  export HADOOP_CONF_DIR=/etc/hadoop/conf 3.配置主机
Spark调度-livy 安装使用
1.下载压缩包,解压 https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip unzip  livy-0.5.0-incubating-bin.zip   2.配置环境变量 vim .profile(ubuntu,redhat/centos .bash_p...
livy使用RestAPI提交jar包样例
完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git
CDH中HUE开启Livy Spark提交工具
下载编译Livy git clone https://github.com/cloudera/livy.git cd livy mvn package 配置启动Livy livy-env.sh export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/lib/spark...
Livy - 基于Apache Spark之上的REST服务
Livy是构建于Apache Spark之上的REST服务,它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
在Cloudera Manager提交spark任务失败
在hue中配置workflow,提交以后,报如下错误: Log Type: stderr Log Upload Time: Wed Aug 29 10:36:23 +0800 2018 Log Length: 1452 SLF4J: Class path contains mult...
Hue中spark 实现提交运行源码过程
Hue中notebook执行spark Job的流程源码分析
Livy原理详解
概述 当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能以client的模式运行,这会严重影响扩展性。针对这些问题,cloudera研发了Livy,L...
使用REST接口调用Spark——Apache Livy使用笔记
0x0 Livy安装与运行 登录官网:http://livy.incubator.apache.org/ 下载最新版 livy。 1. 解压 2. 配置:在conf/livy-env.sh中添加: export SPARK_HOME=path/to/spark export HADOOP_CONF_DIR=/etc/hadoop/conf 进入bin文件执行 #前台模式,...
Spark:使用Java代码提交spark任务
本文基于spark-1.6.2-bin-hadoop2.6 提交到本地 程序中指定的参数(param)和spark-submit提交时参数配置一致: import org.apache.spark.deploy.SparkSubmit; public class Dr { public static void main(String[] ar...
java提交spark任务到yarn平台
一、背景     采用spark的方式处理,所以需要将spark的功能集成到代码,采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下,只需要配置一些配置即可,非常方便   二、任务管理架构   三、接口 1、maven坐标 <!-- spark依赖 -->    <dependency>        &...
Spark之SQL高级知识分享(任务提交优化+SparkSQL执行计划解析+Spark版本对比)
1.普通方式提交任务的缺点以及优化方法。 使用spark-shell/spark-submit脚本提交作业到yarn时: 2exector :花了一分钟时间 200executor :会花费更多更多的时间在向yarn申请资源 缺点一:耗费太多的时间用于申请资源上,尤其针对那些小任务(可能任务本身20秒完成) 缺点二:若因为数据倾斜导致部分task一值无法结束,那么即使那些完成任务的task的资源...
Spark任务提交-json参数踩坑
Spark提交任务时,需要传递两个参数,其中一个是json字段串json 参数如下:{ "dest_catalog":"测试文件1", "site":"tencent", "song_settings":{"lower_case":"true","remove_brackets":"true","simple_chinese":"true","remove_blank":"true","remove
livy源码阅读
在client端使用RESTAPI新建session时的时序图: 使用RESTAPI执行一段代码 client端和driver端建立连接,这个过程是:client端建立一个RPCServer,并建一个RSCClient,将其注册到Client端的RPCServer中的PendingClients,然后将其server的host,port,clientID和secret存放到conf中并...
spark系列-应用篇之通过yarn api提交Spark任务
前言 在工作中,大部使用的都是hadoop和spark的shell命令,或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务,感觉yarn的api还是挺全面的,但是调用时需要传入很多参数,而且会出现一些诡异的问题。虽然最终使用livy来提交任务,但是通过yarn api提交任务可以帮助使用者更好的理解yarn,而且使用yarn查询任务还是不错的。至于liv...
基于mesos集群中spark是如何提交任务的
基于mesos的spark集群中,spark是如何提交任务的
记一次Spark Kerberos的故障解决
有同事反馈,Livy Server启动的所有Spark AM失败。Livy启动的Spark AM默认会enableHiveSupport,且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos。 livy.server.launch.kerberos.keytab livy.server.launch.k...
使用JAVA代码实现编程式提交Spark任务
0x0 背景介绍 项目中使用SparkSession来执行任务,出现一个问题: SparkSession开启后会一直占用集群的资源(CPU和内存),而且,SparkSession关闭后,无法再次开启(报异常)。 为了解决以上问题,只有采用Java代码模拟Spark Submit来提交任务到集群,从而实现动态调用spark。 0x1 方法 查看多方资料,发现三个方法,分别是: 1. ...
CDH5.13启用Kerberos后spark代码提交常见错误
错误一:Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决方法:需要登录kinit spark 错误二:WARN ...
Spark提交任务的方式
提交任务的两个命令 spark-submit 程序执行之后,application就会退出。 spark-shell 会一直占有一个application,手动退出。 ctrl + c  spark-shell  是一个交互式的命令行,主要用于测试。 spark-shell脚本,实际上调用的是spark-submit脚本: spark-shell --master spark://h...
Spark2.0.1 on yarn with hue 集群安装部署(七)livy安装测试
R安装,pip安装,livy安装,livy整合spark,livy整合spark测试
spark-submit提交任务的方式
submit spark jobs
spark提交任务,参数的形式是JSON
spark提交任务,参数的形式是JSON 比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_j
利用spring-boot构建spark job作业提交服务
版本依赖 spark.version:2.1.0 hadoop.version:2.6.5 springboot-mybatis.version:1.1.1 springboot:1.5.10 实现功能 通过HTTP提交job作业请求,并记录日志到数据库中 项目DAO部分使用mybatis实现,本文中不做记录 编码实现 pom <project xmlns...
Spark提交任务的命令
bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores 4 --class nuc.sw.test.ScalaWordCount /root/spark-1.0.jar hdfs://master.hadoop:90...
livy-0.5.0-incubating-bin.zip
livy安装包,亲测可用,通过livy来发任务到spark进行执行,更加方便了对spark的操作
使用Spark-Submit提交job遇到的问题
1.利用Spark-submit提交idea打包的jar文件执行失败Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes   问题产生的原因,在使用idea打包执行文件时多余的校验文件导致运行出错2.解决方案zip -d S...
使用java代码来实现动态提交spark任务到集群
场景 执行java代码的一个方法,这个动作触发提交spark任务到运行在yarn上的spark 集群 开始 Spark任务介绍 执行spark读取Hive中的一个表,这个表是用Hive来管理的HBASE表。统计这个表的总记录数。 具体代码如下:         objectTable_count {   def main(args: Array[String]): Unit = { ...
Java Web提交任务到Spark Standalone集群并监控
Java Web提交任务到Spark Standalone集群并监控 环境 工程下载路径 Spark任务提交流程 问题及问题解决 后记Java Web提交任务到Spark Standalone集群并监控1. 环境 软件 版本 备注 IDEA 14.1.5 JDK 1.8 Spark 1.6.0 工程maven引用 Spark cdh5.7.3
livy安装文档
1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。 2、将livy的压缩包放到Linux 主机...
Spark Submit任务提交流程
1,简介 在上一篇博客中,我们详细介绍了Spark Standalone模式下集群的启动流程。在Spark 集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍Spark Submit提交任务的流程。 2,Spark 任务的提交 我们可以从spark 的官网看到,spark-submit的提交格式如下: ./bin/spark-submit –class –ma...
Livy简单使用 & 架构解读
Livy使用 —— 关于Session的操作 官网案例:http://livy.incubator.apache.org/examples/ REST API:http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session,返回活的交互式session 打开Postman,在其上面进行操作: G...
Java Web提交任务到Spark
1. windows简单java程序调用Spark,执行Scala开发的Spark程序,这里包含两种模式: 1> 提交任务到Spark集群,使用standAlone模式执行; 2> 提交任务到Yarn集群,使用yarn-client的模式; 2. windows 开发java web程序调用Spark,执行Scala开发的Spark程序,同样包含两种模式,参考1. 3. linux运行java web程序调用Spark,执行Scala开发的Spark程序,包含两种模式,参考1.
spark 提交任务到yarn 报错
报错信息:scala.reflect.api.JavaUniverse.runtimeMirror 原因:scala版本问题,jar包中的scala版本与spark集群中的版本不一致 解决:将jar包中的scala 版本 2.11.0 换成 2.10.5 ,重新打包执行...
脚本提交spark任务会自动重试
1)如果spark任务执行成功,不会自动重试 2)如果spark任务执行失败,手动提交时不会重试 3)如果spark任务执行失败,脚本自动调教时会重试一次 配置参数--conf spark.yarn.maxAppAttempts=0即可。 想不明白,为什么手动提交没有问题,脚本提交会自动重试。。看配置文件也没看到该配置,网上说默认是4。应该是yarn配置的...
spark2- submit提交任务报错
在安装完成cdh5.13.3之后,写了个sparkstream的代码,然后准备用spark2-submit提交任务,结果遇到了一系列的错误: 1.spark2-submit提交任务的时候直接报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream   ...
spark提交任务端口占用异常
当在同一台机器上提交多个spark任务时 并且是以client的方式提交,会报端口占用错误 17/05/05 15:51:07 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@3c8bdd5b: java.net.BindException: Address already in use java.net.
spark中提交任务参数的详解及spark运算调优
任务中只有一个action算子操作,只会产生一个job,这一个job会根据rdd之间一系列的操作,首先会生成一个DAG有向无环图,然后根据我们在代码里面创建new SparkContext 这个操作里面会帮我们创建DAGScheduler和TaskScheduler DAGScheduler根据宽依赖把DAG有向无环图进行stage换分,只有一个宽依赖,整个DAG被划分成2个stage 每一个s...