wyangue 2023-09-08 16:27 采纳率: 0%
浏览 68

spark-submit提交jar时报错Error: Failed to load class

spark .\spark-submit 提交jar时报错Error: Failed to load class com.keywords.Application

java中部分代码:
package com.keywords;
public class Application {
命令行:
.\spark-submit --class com.keywords.Application --driver-memory 8g --executor-memory 8g XXXXX(jar路径)

尝试过多次,只有springboot的应用打包后会提示找不到主类。

找到了一种比较靠谱的说法:
springboot打包方式和普通项目打包方式不一样
两个解决办法:
1是修改命令为 .\spark-submit --class org.springframework.boot.loader.JarLauncher
但是报错了
NoSuchMethodError: com.google.gson.GsonBuilder.setLenient()Lcom/google/gson/GsonBuilder; 没解决,放弃了
2是用maven-shade-plugin打包
打包是打包了,还是报错找不到主类。

spark部署在windows/linux都尝试过,执行spark-submit都是在windows上。

有关的文章感觉有点太少了,没有什么思路了。

  • 写回答

1条回答 默认 最新

  • 卑以自牧w 2023-09-11 10:02
    关注

    第二个报gson错误,直接删掉pom中的gson依赖,和spark自带的冲突了

    评论

报告相同问题?

问题事件

  • 创建了问题 9月8日

悬赏问题

  • ¥15 stc15f2k60s2单片机关于流水灯,时钟,定时器,矩阵键盘等方面的综合问题
  • ¥15 YOLOv8已有一个初步的检测模型,想利用这个模型对新的图片进行自动标注,生成labellmg可以识别的数据,再手动修改。如何操作?
  • ¥30 NIRfast软件使用指导
  • ¥20 matlab仿真问题,求功率谱密度
  • ¥15 求micropython modbus-RTU 从机的代码或库?
  • ¥15 django5安装失败
  • ¥15 Java与Hbase相关问题
  • ¥15 后缀 crn 游戏文件提取资源
  • ¥20 bash代码推送不上去 git fetch origin master #失败了
  • ¥15 LOL外服加入了反作弊系统,现在游戏录像rofl文件离线都无法打开