wyangue 2023-09-08 16:27 采纳率: 0%
浏览 90

spark-submit提交jar时报错Error: Failed to load class

spark .\spark-submit 提交jar时报错Error: Failed to load class com.keywords.Application

java中部分代码:
package com.keywords;
public class Application {
命令行:
.\spark-submit --class com.keywords.Application --driver-memory 8g --executor-memory 8g XXXXX(jar路径)

尝试过多次,只有springboot的应用打包后会提示找不到主类。

找到了一种比较靠谱的说法:
springboot打包方式和普通项目打包方式不一样
两个解决办法:
1是修改命令为 .\spark-submit --class org.springframework.boot.loader.JarLauncher
但是报错了
NoSuchMethodError: com.google.gson.GsonBuilder.setLenient()Lcom/google/gson/GsonBuilder; 没解决,放弃了
2是用maven-shade-plugin打包
打包是打包了,还是报错找不到主类。

spark部署在windows/linux都尝试过,执行spark-submit都是在windows上。

有关的文章感觉有点太少了,没有什么思路了。

  • 写回答

1条回答 默认 最新

  • 卑以自牧w 2023-09-11 10:02
    关注

    第二个报gson错误,直接删掉pom中的gson依赖,和spark自带的冲突了

    评论

报告相同问题?

问题事件

  • 创建了问题 9月8日

悬赏问题

  • ¥15 如何改进这个简易的模数转换程序
  • ¥30 模拟电路 logisim
  • ¥15 PVE8.2.7无法成功使用a5000的vGPU,什么原因
  • ¥15 is not in the mmseg::model registry。报错,模型注册表找不到自定义模块。
  • ¥15 安装quartus II18.1时弹出此error,怎么解决?
  • ¥15 keil官网下载psn序列号在哪
  • ¥15 想用adb命令做一个通话软件,播放录音
  • ¥30 Pytorch深度学习服务器跑不通问题解决?
  • ¥15 部分客户订单定位有误的问题
  • ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法