HKINQ
HKINQ
采纳率0%
2017-03-03 05:00 阅读 9.1k

使用idea调试Spark时,遇到java.lang.ClassNotFoundException

写了段简单的代码测试下,连接虚拟机上的Spark standalone:

object SparkHbase {
def main(args: Array[String]) {
System.setProperty("spark.executor.memory", "512m")
System.setProperty("spark.driver.memory", "512m")
val conf = new SparkConf().setAppName("spark-hbase")
.setMaster("spark://ubuntu:7077")
.setJars(Array("E:\javawebapps\SparkRecommerSystem\out\artifacts\sparkrecommersystem_jar\sparkrecommersystem.jar"))
// .setMaster("local[5]")
val sc = new SparkContext(conf)
sc.addJar("E:\javawebapps\SparkRecommerSystem\out\artifacts\sparkrecommersystem_jar\sparkrecommersystem.jar")
//
val data = Array(1, 2, 3, 4, 5, 6)
val dataRDD = sc.parallelize(data)
dataRDD.foreach(println)

sc.stop()

}
}

windows下与虚拟机网络上是互通的,同时我也调用了SparkConf.setJars(),却依旧无法找到我写的这个主类编译后的一个类(SparkHbase$$anonfun$main$1)。

尝试打成Jar包后,使用spark-submit提交,也同样报错。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

4条回答 默认 最新

  • huxin008 tuuuuski 2017-03-05 08:15

    spark-submit中要指定class主类

    点赞 1 评论 复制链接分享
  • mulangren1988 mulangren1988 2017-03-03 06:35

    你没有指定主类,类似于:
    --class com.juanpi.bi.streaming.KafkaConsumer

    点赞 评论 复制链接分享
  • HackAge4619 写给初学者的几封信 2017-03-03 06:39

    问题报得很明显,找不到 lang包里的类,缺少包或者是jdk环境变量问题

    点赞 评论 复制链接分享
  • github_37835908 Lcafebabe 2017-08-26 14:57

    如果你的driver是你的windows,你的setJar(''e:xxxx)才可用

    点赞 评论 复制链接分享

相关推荐