spark程序使用scalac先编译再使用scala运行和打成jar包使用spark-submit提交运行有什么区别？

第一种方式：先使用scalac命令编译，再使用scala命令运行

第二种方式：先使用sbt打包，然后再使用spark-submit提交运行spark

这两种方式有什么区别？各有什么优劣势？先谢谢大家了 ~

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
zqbnqsdsmd 2019-10-02 23:26
关注
https://blog.csdn.net/love666666shen/article/details/78462626

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

spark-submit命令运行jar包报空指针，Java -jar命令可以运行。 jar java spark
2018-05-08 10:49

回答 1 已采纳可以试试hadoop jar xxx(main)
如何在IntelliJ IDEA中安装完scala后，spark包报红？ intellij-idea spark
2022-04-19 11:52

回答 2 已采纳依赖和依赖的版本都要对上
Spark实验统计信息缺失个数报错，如何解决？(语言-scala) hive scala spark
2022-05-17 10:42

回答 1 已采纳 target字段转数字失败，你看一下数据对应的该字段是不是有非数字的值
使用sbt编译打包，spark-submit命令提交的详细步骤
2020-12-09 14:32

－冰镇桂花杨梅汁的博客 Spark2.1.0入门：Spark的安装和使用使用sbt打包Scala程序该程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。请在./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明...
IDEA 2018.2 使用gradle 构建， java + scala 的项目，编译不通过，无法运行 scala
2019-06-03 11:32

回答 1 已采纳解决办法就是，把IDEA 使用的Gradle 版本降低，我默认使用的是 5.1 ，这个项目可能依赖的比较旧 Preferences ---> Build, Executio
spark与hive版本问题? 本机正常运行,服务器上报错. hive java spark
2021-07-30 17:14

回答 1 已采纳可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
在使用Spark连接数据库时发生Caused by: java.sql.SQLException: Out of range value for column 'age' : value age java spark sql
2022-02-09 14:38

回答 1 已采纳 http://cn.voidcc.com/question/p-ozcajljc-dh.html，看下这个
Spark集群中使用spark-submit提交jar任务包
2018-07-27 17:22

Yeung先森的博客蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题 ...
IDEA scala编程运行程序报错，如何解决？ intellij-idea scala
2023-03-22 00:07

回答 2 已采纳这个错误很明显啊，被0除，83行那里，courseNames这个数组的长度为0。你可以看看对该数组赋值的地方，是不是出了什么问题，导致数组长度为0.
刚搭建好的测试环境提交spark no yarn 任务报如下错误，有人遇到过吗 hadoop spark
2022-05-15 19:13

回答 1 已采纳之前碰到过这个报错，当时修改pom文件添加了一个依赖 <dependency> <groupId>org.apache.hadoop</groupId>
使用spark自带的sbt编译工具打包失败 spark
2015-02-25 13:23

回答 1 已采纳版本不匹配造成的，仔细检查下。
13.Linux下sbt编译打包Spark程序和 Maven编译打包Scala程序
2022-10-23 12:23

查布嘎ghw的博客 README文件中包含“a”和“b”的行数，并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。
java-scala测试程序，提示Cannot resolve overloaded method 'setJars'。 intellij-idea scala
2021-11-12 11:35

回答 2 已采纳你这个好像不对变量声明方式：https://www.runoob.com/scala/scala-variables.html
Spark集群中使用spark-submit提交jar任务包实战经验
2017-01-03 23:22

阳光洒落你窗前的博客蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇...
spark java maven jar_Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行...
2021-03-18 11:22

犀牛故事陈墨的博客本地Windows测试，上传到集群中运行文章目录Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行Step1：Maven打包Jar包Step2：本地测试spark程序Step3：Jar包上传到集群Step4：集群上提交Jar包...
没有解决我的问题, 去提问

悬赏问题

¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
¥15 （希望可以解决问题）ma和mb文件无法正常打开，打开后是空白，但是有正常内存占用，但可以在打开Maya应用程序后打开场景ma和mb格式。
¥15 绘制多分类任务的roc曲线时只画出了一类的roc，其它的auc显示为nan
¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
¥20 腾讯企业邮箱邮件可以恢复么
¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？
¥15 错误 LNK2001 无法解析的外部符号
¥50 安装pyaudiokits失败
¥15 计组这些题应该咋做呀
¥60 更换迈创SOL6M4AE卡的时候，驱动要重新装才能使用，怎么解决？