使用livy提交spark任务失败 80C

post地址:http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错:xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖,我到底是哪里错了?大家有什么解决方案或者建议吗?望各位大咖不吝赐教!跪谢!
截图如下所示,图一:使用postman发送的截图,图二:livy的管理页面
图一:使用postman发送的截图
图片说明

                图二:livy的管理页面

图片说明

    注:在linux服务使用spark-submit提交成功:
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar
0

查看全部1条回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark任务提交产生的问题,以及livy解决问题
spark任务提交 spark目前提供python shell和scala shell两种交互式命令行运行Python Shell ./bin/pyspark 运行Scala Shell./bin/spark-shell 比如用户使用spark-shell或是pyspark脚本启动Spark应用程序,伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–Print L...
spark系列-应用篇之通过livy提交Spark任务
前言 上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务。livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,session共享 安装 下载livy0.5.0,下载完成后进行解压。 配置conf/livy.conf文件,设置livy.spark.master = yarn。其他的配置项目,可以根据你的需要来配...
Spark调度-livy 安装使用
1.下载压缩包,解压 https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip unzip  livy-0.5.0-incubating-bin.zip   2.配置环境变量 vim .profile(ubuntu,redhat/centos .bash_p...
利用 livy 远程提交 spark作业
利用 livy 远程提交 spark作业 1. 下载,安装 livy 下载 地址 :http://livy.io/quickstart.html 下载之后,解压即可运行 2. 配置环境变量 export SPARK_HOME=/usr/lib/spark  export HADOOP_CONF_DIR=/etc/hadoop/conf 3.配置主机
livy使用RestAPI提交jar包样例
完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git
CDH中HUE开启Livy Spark提交工具
下载编译Livy git clone https://github.com/cloudera/livy.git cd livy mvn package 配置启动Livy livy-env.sh export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/lib/spark...
Hue中spark 实现提交运行源码过程
Hue中notebook执行spark Job的流程源码分析
使用REST接口调用Spark——Apache Livy使用笔记
0x0 Livy安装与运行 登录官网:http://livy.incubator.apache.org/ 下载最新版 livy。 1. 解压 2. 配置:在conf/livy-env.sh中添加: export SPARK_HOME=path/to/spark export HADOOP_CONF_DIR=/etc/hadoop/conf 进入bin文件执行 #前台模式,...
Spark任务提交-json参数踩坑
Spark提交任务时,需要传递两个参数,其中一个是json字段串json 参数如下:{ "dest_catalog":"测试文件1", "site":"tencent", "song_settings":{"lower_case":"true","remove_brackets":"true","simple_chinese":"true","remove_blank":"true","remove
Livy原理详解
概述  当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能以client的模式运行,这会严重影响扩展性。针对这些问题,cloudera研发了Livy,Liv...
spark restful api 启动任务,运行完之后到historyserver
首先1、 spark-env.sh中添加export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://xiaoqi0:9000/sparkeventlog"2、spark-defaults.c...
在Cloudera Manager提交spark任务失败
在hue中配置workflow,提交以后,报如下错误: Log Type: stderr Log Upload Time: Wed Aug 29 10:36:23 +0800 2018 Log Length: 1452 SLF4J: Class path contains mult...
Spark2.0.1 on yarn with hue 集群安装部署(七)livy安装测试
R安装,pip安装,livy安装,livy整合spark,livy整合spark测试
SpringBoot项目通过httpClient调用SparkRestfulAPI提交spark作业到spark集群运行
package com.rlt.services.impl; import com.alibaba.fastjson.JSON; import com.rlt.entity.SparkConfEntity; import com.rlt.entity.SparkResultEntity; import com.rlt.services.DictService; import com.rlt.u...
Spark2.0.1 on yarn with hue 集群安装部署(六)livy安装测试
原文链接:http://www.infocool.net/kb/Spark/201611/224780.html livy安装测试 一、R安装 如果未安装R,可以先安装R,用于支持SparkR,如果yum源中没有R语言的安装包,可以从官网下载相应版本进行手动编译安装。 sudo yum install R1 安装rJava  下载地址:  https://cr
[Spark基础]-- spark-2.1.0提交任务的配置参数说明
参考原文:https://spark.apache.org/docs/latest/configuration.html   一、目录  Spark 属性 动态加载Spark属性 查看Spark属性 可用属性 应用程序属性 运行时环境 Shuffle行为 Spark UI 压缩和序列化 内存管理 Execution 行为 网络 任务计划   Sp...
spark应用提交
refer: http://m.blog.chinaunix.net/uid-26733228-id-5301647.html 在使用spark的时候,难免写spark程序进行数据分析。根据spark的文档,我们提应用程序的方式是使用对应的spark-submit脚本进行,但是在实际的使用中往往需要程序代码提交用于分析的应用。 查找相关文档,得到如下程序例子:
使用JAVA代码实现编程式提交Spark任务
0x0 背景介绍 项目中使用SparkSession来执行任务,出现一个问题: SparkSession开启后会一直占用集群的资源(CPU和内存),而且,SparkSession关闭后,无法再次开启(报异常)。 为了解决以上问题,只有采用Java代码模拟Spark Submit来提交任务到集群,从而实现动态调用spark。 0x1 方法 查看多方资料,发现三个方法,分别是: 1. ...
Spark提交任务的命令
bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores 4 --class nuc.sw.test.ScalaWordCount /root/spark-1.0.jar hdfs://master.hadoop:90...
基于mesos集群中spark是如何提交任务的
基于mesos的spark集群中,spark是如何提交任务的
livy-0.5.0-incubating-bin.zip
livy安装包,亲测可用,通过livy来发任务到spark进行执行,更加方便了对spark的操作
Spark通过Java Web提交任务
相关软件版本: Spark1.4.1 ,Hadoop2.6,Scala2.10.5 , MyEclipse2014,intelliJ IDEA14,JDK1.8,Tomcat7 机器: windows7 (包含JDK1.8,MyEclipse2014,IntelliJ IDEA14,TOmcat7); centos6.6虚拟机(Hadoop伪分布式集群,Spark stan
windows远程提交Spark作业到linux集群,并尝试多种模式运行
本地构建java+scala混合工程: 测试使用本地win10做driver java远程提交代码到集群 sparkContext版本 sparkSession版本 scala远程提交代码到集群 sparkContext版本 sparkSession版本 本地构建java+scala混合工程: 创建maven项目,选择scala-archetype-simp...
spark提交应用的全流程分析
spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后,如何提交到集群中并开始运行。先介绍一下spark从提交到运行的全流程,下面再详细分析。 1、用户通过spark-submit脚本提交应用。 2、spark-submit根据用户代码及配置确定使用哪个资源管理器,以及在合适的位置启动driver。 3、driver与集群管理器(如YA
spark提交任务,参数的形式是JSON
spark提交任务,参数的形式是JSON 比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_j
spark 提交任务到yarn 报错
报错信息:scala.reflect.api.JavaUniverse.runtimeMirror 原因:scala版本问题,jar包中的scala版本与spark集群中的版本不一致 解决:将jar包中的scala 版本 2.11.0 换成 2.10.5 ,重新打包执行...
使用Spark-Submit提交job遇到的问题
1.利用Spark-submit提交idea打包的jar文件执行失败Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes   问题产生的原因,在使用idea打包执行文件时多余的校验文件导致运行出错2.解决方案zip -d S...
Spark rest api 提交监控任务
场景   有些时候我们希望搭建自己的web平台对spark任务进行启动、监控和管理。spark也提供了restful api对任务进行监控,但是对于如何从外部提交任务并没有说明。 一、提交任务  我们使用java进行后台调用restful api,附上提交任务的格式: curl -X POST http://spark-cluster-ip:6066/v1/submissions/cre...
利用spring-boot构建spark job作业提交服务
版本依赖 spark.version:2.1.0 hadoop.version:2.6.5 springboot-mybatis.version:1.1.1 springboot:1.5.10 实现功能 通过HTTP提交job作业请求,并记录日志到数据库中 项目DAO部分使用mybatis实现,本文中不做记录 编码实现 pom <project xmlns...
spark2- submit提交任务报错
在安装完成cdh5.13.3之后,写了个sparkstream的代码,然后准备用spark2-submit提交任务,结果遇到了一系列的错误: 1.spark2-submit提交任务的时候直接报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream   ...
spark中提交任务参数的详解及spark运算调优
任务中只有一个action算子操作,只会产生一个job,这一个job会根据rdd之间一系列的操作,首先会生成一个DAG有向无环图,然后根据我们在代码里面创建new SparkContext 这个操作里面会帮我们创建DAGScheduler和TaskScheduler DAGScheduler根据宽依赖把DAG有向无环图进行stage换分,只有一个宽依赖,整个DAG被划分成2个stage 每一个s...
Java Web提交任务到Spark
1. windows简单java程序调用Spark,执行Scala开发的Spark程序,这里包含两种模式: 1> 提交任务到Spark集群,使用standAlone模式执行; 2> 提交任务到Yarn集群,使用yarn-client的模式; 2. windows 开发java web程序调用Spark,执行Scala开发的Spark程序,同样包含两种模式,参考1. 3. linux运行java web程序调用Spark,执行Scala开发的Spark程序,包含两种模式,参考1.
hive on spark通过YARN-client提交任务不成功
在Hive on spark中  设置spark.master 为 yarn-client , 提交HiveQL任务到yarn上执行,发现任务无法执行 输出一下错误: 可以看到 Hive on Spark 可以submit查询,但是任务无法执行。 因为我们设置的yarn-client 模式提交,所以在hive执行的输出log日志中查找到相应语句输出的log信息: 发现yar
Spark 任务名在使用yarn-cluster模式提交时不生效
【问题描述】 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,第一个应用是使用yarn-client模式提交的,正确显示我们代码里设置的应用名Spark Pi,第二个应用是使用yarn-cluster模式提交的,设置的应用名没有生效。   【原因/解决方式】 导致这个问题的主要原因是,yarn-client和yarn-cluste...
spark在yarn-cluster模式下运行任务报错
spark在yarn-cluster模式下运行任务报错 不指定任何参数, 运行正常 spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00 当指定executor的配置,运行失败 spark-submit --master yarn --...
spark系列-应用篇之通过yarn api提交Spark任务
前言 在工作中,大部使用的都是hadoop和spark的shell命令,或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务,感觉yarn的api还是挺全面的,但是调用时需要传入很多参数,而且会出现一些诡异的问题。虽然最终使用livy来提交任务,但是通过yarn api提交任务可以帮助使用者更好的理解yarn,而且使用yarn查询任务还是不错的。至于liv...
Spark任务提交方式和执行流程
转载自大佬的博客: http://www.cnblogs.com/frankdeng/p/9301485.html 一、Spark中的基本概念 (1)Application:表示你的应用程序 (2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与ClusterManager通信,进行资源的申请,任务的分配和监控等。程序执行完毕后关闭Spa...
spark-submit动态提交的办法(SparkLauncher实战)
spark程序编译完成后,一般都要传送到spark-submit进行调用。 然而为了使程序更加易于集成,需要spark-submit能够动态化 SparkLauncher是spark提供的外部调用的接口。 Package org.apache.spark.launcher Description Library for launching Spark applica
oozie on spark2:发布oozie任务时出现错误
错误信息 variable [spark] cannot be resolved 解决方案 将变量名中不包含特殊字符
【Big Data 每日一题20180906】Spark性能调优篇一之任务提交参数调整
写在前面的一些”废话“: 最近在做spark的项目,虽然项目基本功能都实现了,但是在真正的成产环境中去运行,发现程序运行效率异常缓慢;迫于无奈(实际是自己都不忍直视了),所以决定对程序做一番优化操作。在网上查看了不上关于spark程序的优化方法,但是都比较分散不够全面,所以决定就自己编写的基于Java的spark程序,记录一下我所做过的一些优化操作,加深印象方面以后的项目调优使用。这是一个Spa...
文章热词 Spark Spark培训 Spark课程 Spark视频教程 Spark学习
相关热词 c# 多线程批量提交任务 使用c# 调用svn提交 c++ mlib spark 调用 spark教程+python spark教程python