使用livy提交spark任务失败

Question

post地址：http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错：xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖，我到底是哪里错了？大家有什么解决方案或者建议吗？望各位大咖不吝赐教！跪谢！
截图如下所示，图一：使用postman发送的截图，图二：livy的管理页面
图一：使用postman发送的截图

                图二：livy的管理页面

    注：在linux服务使用spark-submit提交成功：
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar

Answer 1

你的spark什么版本？什么模式启动的？根据这条jira issue，估计是2.2版以下的spark只能在cluster模式里面使用hdfs远程jar包。
https://issues.apache.org/jira/browse/SPARK-10643
你要是懒得升版本或者配置cluster模式的话，写个shell，每次先把hdfs jar包拿到本地在调用spark submit好了。