使用livy提交spark任务失败 80C

post地址:http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错:xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖,我到底是哪里错了?大家有什么解决方案或者建议吗?望各位大咖不吝赐教!跪谢!
截图如下所示,图一:使用postman发送的截图,图二:livy的管理页面
图一:使用postman发送的截图
图片说明

                图二:livy的管理页面

图片说明

    注:在linux服务使用spark-submit提交成功:
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar
0

1个回答

你的spark什么版本?什么模式启动的?根据这条jira issue,估计是2.2版以下的spark只能在cluster模式里面使用hdfs远程jar包。
https://issues.apache.org/jira/browse/SPARK-10643
你要是懒得升版本或者配置cluster模式的话,写个shell,每次先把hdfs jar包拿到本地在调用spark submit好了。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark任务提交产生的问题,以及livy解决问题
spark任务提交 spark目前提供python shell和scala shell两种交互式命令行运行Python Shell ./bin/pyspark 运行Scala Shell./bin/spark-shell 比如用户使用spark-shell或是pyspark脚本启动Spark应用程序,伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–Print L...
spark系列-应用篇之通过livy提交Spark任务
前言 上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务。livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,session共享 安装 下载livy0.5.0,下载完成后进行解压。 配置conf/livy.conf文件,设置livy.spark.master = yarn。其他的配置项目,可以根据你的需要来配...
利用 livy 远程提交 spark作业
利用 livy 远程提交 spark作业 1. 下载,安装 livy 下载 地址 :http://livy.io/quickstart.html 下载之后,解压即可运行 2. 配置环境变量 export SPARK_HOME=/usr/lib/spark  export HADOOP_CONF_DIR=/etc/hadoop/conf 3.配置主机
Spark调度-livy 安装使用
1.下载压缩包,解压 https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip unzip  livy-0.5.0-incubating-bin.zip   2.配置环境变量 vim .profile(ubuntu,redhat/centos .bash_p...
Hue中spark 实现提交运行源码过程
Hue中notebook执行spark Job的流程源码分析
livy使用RestAPI提交jar包样例
完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git
使用REST接口调用Spark——Apache Livy使用笔记
0x0 Livy安装与运行 登录官网:http://livy.incubator.apache.org/ 下载最新版 livy。 1. 解压 2. 配置:在conf/livy-env.sh中添加: export SPARK_HOME=path/to/spark export HADOOP_CONF_DIR=/etc/hadoop/conf 进入bin文件执行 #前台模式,...
使用JAVA代码实现编程式提交Spark任务
0x0 背景介绍 项目中使用SparkSession来执行任务,出现一个问题: SparkSession开启后会一直占用集群的资源(CPU和内存),而且,SparkSession关闭后,无法再次开启(报异常)。 为了解决以上问题,只有采用Java代码模拟Spark Submit来提交任务到集群,从而实现动态调用spark。 0x1 方法 查看多方资料,发现三个方法,分别是: 1. ...
Spark任务提交-json参数踩坑
Spark提交任务时,需要传递两个参数,其中一个是json字段串json 参数如下:{ "dest_catalog":"测试文件1", "site":"tencent", "song_settings":{"lower_case":"true","remove_brackets":"true","simple_chinese":"true","remove_blank":"true","remove
windows中使用yarn-cluster模式提交spark任务
windows中使用yarn-cluster模式提交spark任务,百度找不着的啦,看我这里。另外spark的版本要使用正确哦
Java Web提交任务到Spark Spark通过Java Web提交任务
相关软件版本:Spark1.4.1 ,Hadoop2.6,Scala2.10.5 , MyEclipse2014,intelliJ IDEA14,JDK1.8,Tomcat7机器:windows7 (包含JDK1.8,MyEclipse2014,IntelliJ IDEA14,TOmcat7);centos6.6虚拟机(Hadoop伪分布式集群,Spark standAlone集群,JDK1.8)...
Livy原理详解
概述  当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能以client的模式运行,这会严重影响扩展性。针对这些问题,cloudera研发了Livy,Liv...
spark restful api 启动任务,运行完之后到historyserver
首先1、 spark-env.sh中添加export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://xiaoqi0:9000/sparkeventlog"2、spark-defaults.c...
利用spring-boot构建spark job作业提交服务
版本依赖 spark.version:2.1.0 hadoop.version:2.6.5 springboot-mybatis.version:1.1.1 springboot:1.5.10 实现功能 通过HTTP提交job作业请求,并记录日志到数据库中 项目DAO部分使用mybatis实现,本文中不做记录 编码实现 pom <project xmlns...
CDH中HUE开启Livy Spark提交工具
下载编译Livy git clone https://github.com/cloudera/livy.git cd livy mvn package 配置启动Livy livy-env.sh export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/lib/spark...
记一次Spark Kerberos的故障解决
有同事反馈,Livy Server启动的所有Spark AM失败。Livy启动的Spark AM默认会enableHiveSupport,且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos。 livy.server.launch.kerberos.keytab livy.server.launch.k...
Spark2.0.1 on yarn with hue 集群安装部署(七)livy安装测试
R安装,pip安装,livy安装,livy整合spark,livy整合spark测试
Livy 安装使用说明
Livy的local模式,为什么选择Livy,Livy支持的restful;livy hdfs上面的的依赖jar 问题;Livy 提供的关键字参数
spark提交应用的全流程分析
spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后,如何提交到集群中并开始运行。先介绍一下spark从提交到运行的全流程,下面再详细分析。 1、用户通过spark-submit脚本提交应用。 2、spark-submit根据用户代码及配置确定使用哪个资源管理器,以及在合适的位置启动driver。 3、driver与集群管理器(如YA
Spark rest api 提交监控任务
场景   有些时候我们希望搭建自己的web平台对spark任务进行启动、监控和管理。spark也提供了restful api对任务进行监控,但是对于如何从外部提交任务并没有说明。 一、提交任务  我们使用java进行后台调用restful api,附上提交任务的格式: curl -X POST http://spark-cluster-ip:6066/v1/submissions/cre...
Spark通过Java Web提交任务
相关软件版本: Spark1.4.1 ,Hadoop2.6,Scala2.10.5 , MyEclipse2014,intelliJ IDEA14,JDK1.8,Tomcat7 机器: windows7 (包含JDK1.8,MyEclipse2014,IntelliJ IDEA14,TOmcat7); centos6.6虚拟机(Hadoop伪分布式集群,Spark stan
livy安装文档
1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。 2、将livy的压缩包放到Linux 主机...
在Cloudera Manager提交spark任务失败
在hue中配置workflow,提交以后,报如下错误: Log Type: stderr Log Upload Time: Wed Aug 29 10:36:23 +0800 2018 Log Length: 1452 SLF4J: Class path contains mult...
使用Spark-Submit提交job遇到的问题
1.利用Spark-submit提交idea打包的jar文件执行失败Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes   问题产生的原因,在使用idea打包执行文件时多余的校验文件导致运行出错2.解决方案zip -d S...
Livy简单使用 & 架构解读
Livy使用 —— 关于Session的操作 官网案例:http://livy.incubator.apache.org/examples/ REST API:http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session,返回活的交互式session 打开Postman,在其上面进行操作: G...
hive on spark通过YARN-client提交任务不成功
在Hive on spark中  设置spark.master 为 yarn-client , 提交HiveQL任务到yarn上执行,发现任务无法执行 输出一下错误: 可以看到 Hive on Spark 可以submit查询,但是任务无法执行。 因为我们设置的yarn-client 模式提交,所以在hive执行的输出log日志中查找到相应语句输出的log信息: 发现yar
[Spark基础]-- spark-2.1.0提交任务的配置参数说明
参考原文:https://spark.apache.org/docs/latest/configuration.html   一、目录  Spark 属性 动态加载Spark属性 查看Spark属性 可用属性 应用程序属性 运行时环境 Shuffle行为 Spark UI 压缩和序列化 内存管理 Execution 行为 网络 任务计划   Sp...
Java Web提交任务到Spark
1. windows简单java程序调用Spark,执行Scala开发的Spark程序,这里包含两种模式: 1> 提交任务到Spark集群,使用standAlone模式执行; 2> 提交任务到Yarn集群,使用yarn-client的模式; 2. windows 开发java web程序调用Spark,执行Scala开发的Spark程序,同样包含两种模式,参考1. 3. linux运行java web程序调用Spark,执行Scala开发的Spark程序,包含两种模式,参考1.
SpringBoot项目通过httpClient调用SparkRestfulAPI提交spark作业到spark集群运行
package com.rlt.services.impl; import com.alibaba.fastjson.JSON; import com.rlt.entity.SparkConfEntity; import com.rlt.entity.SparkResultEntity; import com.rlt.services.DictService; import com.rlt.u...
Spark2.2任务提交运行机制及源码解析
源码版本:2.2 参考《Spark内核机制解析及性能调优》 如有错误请指正 一、Spark运行的核心概念 Spark调度器的设计体现得非常简洁清晰和高效,其输入是Spark RDD,输出是Spark执行器(Executor)。正是Spark调度器的设计思想极大地区分出了基于MapReduce模型的Hadoop和基于DAG模型的Spark。 主要内容包括Spark运行核心概
spark提交任务参数–executor-cores设置不起作用
问题描述 1.虽然目前大多数平台内置Application在提交时,只配置了–num-executors和–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。 举个例子: ./spark-submit –master yarn-client –executor-cores 4 –num-executors 6 –executor-memory...
Spark应用如何访问带Kerberos认证的CDH Hadoop集群
我用的是 Spark Standalone集群,当运行kinit命令导入证书,并把CDH Hadoop集群的配置文件放入spark/conf/目录后,提交应用发现还是无法访问CDH Hadoop。 后来查了下官网资料,貌似Standalone模式的Spark集群不支持访问Kerberos认证的Hadoop,我们可以使用Yarn Client模式管理的的Spark集群。 假设你的Hadoop集群
spark-2.0.0提交jar任务的几种方式
//(集群模式)限制资源,后台执行 spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster --executor-memory 500M --total-executor-cores 5 sparkdemo-0.0.1-SNAPSHOT.jar //(集
spark-submit动态提交的办法(SparkLauncher实战)
spark程序编译完成后,一般都要传送到spark-submit进行调用。 然而为了使程序更加易于集成,需要spark-submit能够动态化 SparkLauncher是spark提供的外部调用的接口。 Package org.apache.spark.launcher Description Library for launching Spark applica
Livy - 基于Apache Spark之上的REST服务
Livy是构建于Apache Spark之上的REST服务,它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
Spark任务处理流程
最近学习了spark,现根据任务提交分析处理过程总结一下相关的主要模块和任务提交处理流程。 一些重要术语 client,用户编写的spark任务提交程序 master,spark主节点,负责任务和资源调度、节点管理,类似于Yarn的ResourceManager worker,spark工作节点,可以在上面启动Executor进程,类似于Yarn的NodeManager driver,w...
一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了
1. 提交spark作业到yarn,采用client模式的时候作业可以运行,但是采用cluster模式的时候作业会一直初一accept状态。 背景:这个测试环境的资源比较小,提交作业后一直处于accept状态,所以把作业的配置也设置的小。 submit 语句: spark-submit \ spark-submit \ --class a.kafka_streaming.KafkaConsu...
spark提交任务采用yarn集群提交方法
spark提交任务采用yarn集群提交方法 先启动 hadoop集群 再启动yarn 再启动spark集群 spark提交任务命令 spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /home/hadoop3/app/spark/examples/jar...
提交Python 代码到Spark
没有设置spark环境变量的话:cd /spark路径/bin ./spark-submit /usr/qy/test_pyspark.pytest_pyspark.py:#!/usr/bin/env python # -*- coding: utf-8 -*-# Wicle Qian # 2015.11.19 # test the python in Spark without pysparkfr
java提交spark任务到yarn平台
一、背景    采用spark的方式处理,所以需要将spark的功能集成到代码,采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下,只需要配置一些配置即可,非常方便 二、任务管理架构三、接口1、任务提交1.  /** 2.   * 提交任务到yarn集群 3.   *  4.   * @param conditions 5.   *         ...
文章热词 Spark Spark培训 Spark课程 Spark视频教程 Spark学习
相关热词 c# 多线程批量提交任务 使用c# 调用svn提交 c++ mlib spark 调用 spark教程+python spark教程python