wenjunlong88_easy
wenjunlong88_easy
采纳率80.5%
2018-11-08 18:58

使用livy提交spark任务失败

80

post地址:http://192.168.244.130:8998/batches
body:
{"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"}
报错:xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2
请教各位大咖,我到底是哪里错了?大家有什么解决方案或者建议吗?望各位大咖不吝赐教!跪谢!
截图如下所示,图一:使用postman发送的截图,图二:livy的管理页面
图一:使用postman发送的截图
图片说明

                图二:livy的管理页面

图片说明

    注:在linux服务使用spark-submit提交成功:
  ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2   --executor-memory 1G --total-executor-cores 2  /root/modelcall-2.0.jar
  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

1条回答

  • xiaomad xiaomad 3年前

    你的spark什么版本?什么模式启动的?根据这条jira issue,估计是2.2版以下的spark只能在cluster模式里面使用hdfs远程jar包。
    https://issues.apache.org/jira/browse/SPARK-10643
    你要是懒得升版本或者配置cluster模式的话,写个shell,每次先把hdfs jar包拿到本地在调用spark submit好了。

    点赞 评论 复制链接分享

相关推荐