HKINQ 2017-03-03 05:00 采纳率: 0%
浏览 9514

使用idea调试Spark时,遇到java.lang.ClassNotFoundException

写了段简单的代码测试下,连接虚拟机上的Spark standalone:

object SparkHbase {
def main(args: Array[String]) {
System.setProperty("spark.executor.memory", "512m")
System.setProperty("spark.driver.memory", "512m")
val conf = new SparkConf().setAppName("spark-hbase")
.setMaster("spark://ubuntu:7077")
.setJars(Array("E:\javawebapps\SparkRecommerSystem\out\artifacts\sparkrecommersystem_jar\sparkrecommersystem.jar"))
// .setMaster("local[5]")
val sc = new SparkContext(conf)
sc.addJar("E:\javawebapps\SparkRecommerSystem\out\artifacts\sparkrecommersystem_jar\sparkrecommersystem.jar")
//
val data = Array(1, 2, 3, 4, 5, 6)
val dataRDD = sc.parallelize(data)
dataRDD.foreach(println)

sc.stop()

}
}

windows下与虚拟机网络上是互通的,同时我也调用了SparkConf.setJars(),却依旧无法找到我写的这个主类编译后的一个类(SparkHbase$$anonfun$main$1)。

尝试打成Jar包后,使用spark-submit提交,也同样报错。

  • 写回答

4条回答 默认 最新

  • mulangren1988 2017-03-03 06:35
    关注

    你没有指定主类,类似于:
    --class com.juanpi.bi.streaming.KafkaConsumer

    评论

报告相同问题?

悬赏问题

  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料