spark-submit命令运行jar包报空指针,Java -jar命令可以运行。

local[*]模式下的spark程序,在idea上运行没问题,用maven打出来的jar包在windows的cmd下运行java -jar XX.jar 也可以运行成功。将jar包放到集群中运用spark-submit运行可以打印输出控制台打印结果,但是最后报空指针异常,并且结果不能保存到mysql。可是在集群中也运用java -jar xxx.jar一样可以运行不会报错。这是什么原因?我怎么才能用spark-submit命令运行成功?我想要通过这个命令去具体制定某一个类,利用Java -jar命令就不能具体制定哪一个类 。求帮忙

Exception in thread "main" java.lang.NullPointerException
at java.util.Properties$LineReader.readLine(Properties.java:434)
at java.util.Properties.load0(Properties.java:353)
at java.util.Properties.load(Properties.java:341)
at com.bigdata.bcht.spes.SparkEsLawUndel$.main(SparkEsLawUndel.scala:90)
at com.bigdata.bcht.spes.SparkEsLawUndel.main(SparkEsLawUndel.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:745)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

1个回答

可以试试hadoop jar xxx(main)

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark-submit运行jar包脚本命令
找到spark-submit文件的目录 目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数: --master spark集群
java -jar命令运行jar包出现的错误。
[img=https://img-bbs.csdn.net/upload/201401/25/1390663809_533529.jpg][/img] rn是这样的,java demo里边有个记事本程序,里边自带的一个JAR包,我为了学习打包和运行jar包,所以就把他的src文件夹又重新打jar包了,但是java -jar的时候出现了上边图片的问题,MANIFEST.MF里我已经添加了 Main-Class: src.Notepad 了。 我和自带的Notepa.jar比较了一下,区别只是多了一个src文件夹。rnrn谢谢了!!
使用hadoop jar命令和linux命令运行jar包
使用hadoop jar 命令运行jar包: ./bin/hadoop jar ./myapp/HDFSExample.jar 使用linux命令运行jar包 java -jar /myapp/HDFSExample.jar
命令下运行jar包
java -jar 你要运行的jar包
spark-shell可以运行,spark-submit就报错了。
运行代码,发现如果只是使用sparksql进行数据查询不会报错,但是一旦需要insert,或者collect,show之类的就直接报如下的错误。rnpackage MlBigdatarnrnimport org.apache.spark._rnimport org.apache.spark.sql.hive.HiveContextrnrnobject mlEndclaimInfo rn def main(args: Array[String]): Unit = rn if (args.length < 1) rn System.err.println("Usage: HdfsWordCount ")rn System.exit(1)rn rn val columnGroup = args.mkString(",")rn val conf = new SparkConf().setAppName("spark_ml").setMaster("spark://192.168.10.124:7077")rn conf.setExecutorEnv("SPARK_EXECUTOR_MEMORY", "3G")rn val jars =Array("/home/data/MlBigdata.jar")rn conf.setJars(jars)rn val sc =new SparkContext(conf);rn val sqlContext =new HiveContext(sc)rn sqlContext.setConf("spark.sql.shuffle.partitions","4")rn import sqlContext.implicits._rn import sqlContext.sqlrn sqlContext.sql("use hive")rn val answer =sqlContext.sql("select count(distinct notificationno) notification_dis_count,sum(1) notification_count,sum(CLAIMAMOUNT) claimamount,sum(CLAIMAMOUNT_CAR) claimamount_car,sum(CLAIMAMOUNT_MAN) claimamount_man,sum(CLAIMAMOUNT_THING) claimamount_thing,"+columnGroup+" from ml_endclaim_info group by "+columnGroup)rn answer.showrn sc.stop() rn rnrnrn[img=https://img-bbs.csdn.net/upload/201711/30/1512030803_725324.png][/img]
Java命令可以运行,javac命令不可以运行的解决办法
Path路径中建议不要使用JAVA_HOME ClassPath路径中可以使用JAVA_HOME
LINUX jar 运行常见命令
查看jar 运行进程 ps -ef|grep java 后台运行 nohup java -jar pet-0.0.1-SNAPSHOT.jar &amp;amp;
java打包/命令行方式运行jar
1、创建测试代码: public class Testtmp { public static void main(String[] args) { // TODO Auto-generated method stub for(int i=0;i&amp;lt;args.length;i++){ System.out.println(i+&quot; = &quot; + args[i]); }...
java用命令编译打包可运行jar
hellooooo this is a test
java原生命令编译与运行,javac与jar
JDK:1.9一. 编译分四个阶段1.单个Java文件编译javac className.class2.用到第三发jar包3.多个包多级目录的java工程    我试了一下,下面三种方式都可以,可用通配符。    ps: 常用-d classes将生成的.class文件指定到目录,以便打jar。不加则在java文件统计目录。    C:\Users\15164\Desktop&amp;gt;javac -...
Linux | 通用jar包运行命令
运行的时候分配运行内存,指定快速启动,并引导输出的配置 nohup java -Xmx512M -Xms512M -Djava.security.egd=/dev/urandom -jar XXXXXXXX.jar &amp;amp;amp;gt; /dev/null 2&amp;amp;amp;gt;&amp;amp;amp;amp;1 &amp;amp;amp;amp; Linux下还有一个特殊的文件/dev/null,它就像一个无底洞,所有重定向到它的信息都会消失得无影无踪。 .
在linux系统下运行jar包的命令如下:
1、java -jar xxxxx.jar  // 当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出2、java -jar xxxxx.jar &amp;amp;   //当前ssh窗口不被锁定,但是当窗口关闭时,程序中止运行。3、nohup Java -jar xxxxxx.jar &amp;amp;  //意思是不挂断运行命令,当账户退出或终端关闭时,程序仍然运行...
运行服务端的Jar包命令
[root@hadoop200 jars]# java -jar hualv-ms-service-consultreplace-1.0.0-RELEASE.jar --server.port=82
xp运行命令.xp运行命令.xp运行命令.
xp运行命令.xp运行命令.xp运行命令.xp运行命令.xp运行命令.xp运行命令.
Java命令执行Jar包运行main方法
有时候我们不想在IDE工具里运行测试文件,如果在IDE工具里测试文件,那么IDE工具与我们测试文件是共享内存与CPU的。举个例子,我们在测试类里写了一个线程,每过一秒后我们循环50次线程(每一次都是new 一个线程对象),然后我们在线程run方法里每一个线程再循环10次每次都调用我们测试方法,这样就相当于一次线程500个并发。(关于这种并发测试小弟有不对的请指点,拍砖)所以在这种情况下占用内存...
【笔记】java命令如何运行jar包
在开发中,我们有时候需要调试jar包,想通过命令行运行jar的main class
Java:命令行运行Jar包程序的命令示例
java -Xmx128M -jar xxxxx.jar C:\Users\zyl\Desktop&gt;java -jar robocode-1.7.3.6-setup.jar
java 打jar包和运行jar
1.环境 JDK 1.7 Eclipse Luna 2.生成jar步骤 3.运行jar 进入jar目录, 执行jar命令  java -jar LoopPrice.jar 防止遗忘,以备查看!
Jar命令构建jar包
使用命令行构建jar包: 例如我这边有个很简单需求,就是将jdk的src源码和openJdk中的补充源码合并打包到一起成一个jar文件,这样的话,使用eclipse就能看到jdk中的所有类的源码,除了native的方法。 例如文件夹如图所示: 需要将src文件夹和src-protected文件夹打成一个jar文件。 查看jar命令行的介绍: 所以很明确使用 jar -c
java手动运行命令
java windows下启动命令 启动classs java -cp .\lib\*;.\classes com.mycompany.helloworld.NewClass 启动jar, lib路径要配在MANIFEST.MF里面 java -jar HelloWorld-1.0-SNAPSHOT.jar java linux下启动命令 java -cp &quot;.:lib/*...
java 运行dos命令
在指定路径下运行命令String path ="D:\\address_lsit\\sdk\\platform-tools"; String cmds ="adb devices"; Process exec = Runtime.getRuntime().exec(cmds,null,new File("D:\\address_lsit\\sdk\\platform
Java运行命令的问答题?
本人目前在自学Java.对于以下问题不怎么明白,敬请帮助,谢谢!rnrnrnrnjava myprog good morning rnrnpublic class myprog rnrnpublic static void main(String argv[]) rnrn rnrnSystem.out.println(argv[2]) rnrn rnrn rnrn将会得到什么打印结果?以及这里所说的打印结果是什么意思或者如何理解?在此深表感谢!
命令运行Java
1、不带package的Java文件的编译运行 假设文件的要编译的Java文件(Demo.java)中没有指定包名: public class Demo { public static void main(String[] args) { System.out.println("Hello dos java"); } } 在DOS窗口将当前目录设置成Demo.java
运行JAVA命令错误
我在运行JAVA命令时,出现错误如下:rnE:\show>java MyFramernError opening registry key 'Software\JavaSoft\Java Runtime Environment'rnError: could not find java.dllrnError: could not find Java 2 Runtime Environment.rn在java\bin\路径下运行JAVA命令正常。rn我的jdk安装在C盘,设置了PATH,e:\show\javac MyFrame.java编译错误 都是cannot resolve symbol错误,请高手指教。
Java运行脚本命令
记录下通过Java命令来调用shell的方法,简单的记录下;在Java中有时候需要通过调用shell命令来完成对应的操作,之后返回执行的结果进行一些结果的解析,可以使用Runtime.getRuntime().exec()方法来执行shell命令,具体的方法如下: public Process exec(String command) //在单独的进程中执行指定的字符串命令。 pub...
java运行本地命令
[code=java]rnString cmd="ssh-keygen -t rsa -f id_rsa";rnStringBuffer sb = null;rnInputStream in = null;rnOutputStreamWriter out = null;rnReader reader = null;rnBufferedReader br = null;rntry rn Process process = Runtime.getRuntime().exec(cmd);rn sb = new StringBuffer();rn in = process.getInputStream();rn out=new OutputStreamWriter(process.getOutputStream());rn reader = new InputStreamReader(in);rn br = new BufferedReader(reader);rn String res = "";rn while ((res = br.readLine()) != null) rn askShell(res,out);rn sb.append(res + "\n");rn rnrn catch (IOException e) rn // TODO Auto-generated catch blockrne.printStackTrace();rn finally rn //关闭流rnrnrn[/code]rnrn[code=java]rnpublic void askShell(String s, OutputStreamWriter out) rnrn try rn if (-1!=s.indexOf("Enter passphrase")) rn out.write( "password\r\n");rn rn catch (IOException e) rn // TODO Auto-generated catch blockrn e.printStackTrace();rn rnrn rn[/code]rnrn要使用java调用linux本地命令,与shell交互输入密码,但是运行后process.getInputStream()未输出内容,而是直接跳出了对话框,要求输入密码。如何才能直接使用java输入密码?rnps:cmd="ssh-keygen -t rsa -f id_rsa"不要使用命令直接加-N password
java编译和运行命令
如源文件Hello World.java(Hello和World之间有空格)rn编译应该是javac Hello World.javarn运行应该是java Hello Worldrn吧?我机器没装jdk,没办法运行..上面这样写是对的吧?
运行命令大全 运行命令
运行命令大全运行命令大全运行命令大全运行命令大全运行命令大全
win运行的运行命令
、、、、windows的运行命令 ,,,
linux 运行jar报
nohup java -jar shareniu.jar 注意事项:网上质量很多都是nohup Java结果运行时一直报,没有Java文件,要注意字母大小写
jar在命令行下运行空指针异常解决
解决命令行下报NullPointException异常 java环境变量配置
运行命令
通过这一个课程的介绍,我们将了解到 Powershell 的发展历史,组件和架构,同时能够发现和使用 Powershell Module 和 命令,借助于 Powershell 命令和 Pipeline 功能,将获取的系统信息和对象,进行轻松筛选和遍历,格式化显示,保存为文本文件,XML 和 CSV 报告。
运行输入命令运行输入命令
运行输入命令运行输入命令运行输入命令运行输入命令运行输入命令运行输入命令运行输入命令
批运行命令批运行命令
批运行命令批运行命令批运行命令批运行命令批运行命令
xp运行命令xp运行命令
xp运行命令xp运行命令xp运行命令xp运行命令
运行中可以使用的命令
一般有人喜欢在运行中直接输入命令,来进行某些操作,下面就来说一些在运行中可用的命令,
【Java命令九】jar命令
1. 不解压的前提下,列出jar包中包含的内容,比如class等   jar tf jar文件路径    
java命令可运行javac命令不可以运行
本人用的window10安装jdk安装后java命令可以运行javac不可以运行,配置环境变量直接复制粘贴 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 然后编辑环境变量时候显示 自动在配置的变量值前后加了引号和一个分号,所以命令失效。修改方法一:删掉多余的引号和分号;修改方法二:将两个路径分开添加
后台运行spark-submit命令的方法
在使用spark-submit运行工程jar包时常常会出现一下两个问题: 1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志; 2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。 其中,第一个问题可以通过将运行日志重定位
用java命令运行一个工程的main函数,ant打jar包,并且jar包可以直接运行
1. java -cp 相关 java -cp &quot;[color=red]classes[/color]:lib/log4j-1.2.15.jar:lib/commons-configuration-1.8.jar:lib/commons-lang-2.4.jar:lib/commons-logging-1.1.1.jar:lib/netty-3.5.2.Final.jar:lib/commo...
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制