wenjunlong88_easy
wenjunlong88_easy
采纳率80.5%
2018-11-08 14:51

当jar在hdfs的时候提交spark job报错

40

(一)jar不在hdfs上的时候提交spark任务成功,使用的命令:
spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2 --executor-memory 1G --total-executor-cores 2 /root/modelcall-2.0.jar
(二)而当jar在hdfs上的时候提交spark任务报错:classNotFoundException呢?,命令如下:
spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2 --executor-memory 1G --total-executor-cores 2 hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar

请教各位大咖这到底是什么原因造成的?望各位大咖不吝赐教!跪谢!!!

注:hdfs能够正常访问,代码里面产生的结果存在hdfs上(第一情况正常运行,在hdfs上能够查看到结果)

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

相关推荐