spark sparkcontext 初始化失败 5C

环境 Ubuntu 16.04
hadoop 2.7.3
scala 2.11.8
spark 2.1.0
已经安装好了hadoop scala,之后配置了下 spark 运行 spark-shell 就爆出来下面的错误

 18/05/22 15:43:30 ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: For input string: "true #是否记录Spark事件,用于应用程序在完成后重构webUI"
    at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
    at scala.collection.immutable.StringLike$class.toBoolean(StringLike.scala:260)
    at scala.collection.immutable.StringOps.toBoolean(StringOps.scala:29)
    at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
    at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
    at scala.Option.map(Option.scala:146)
    at org.apache.spark.SparkConf.getBoolean(SparkConf.scala:407)
    at org.apache.spark.SparkContext.isEventLogEnabled(SparkContext.scala:238)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:407)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
    at org.apache.spark.repl.Main$.createSparkSession(Main.scala:95)
    at $line3.$read$$iw$$iw.<init>(<console>:15)
    at $line3.$read$$iw.<init>(<console>:42)
    at $line3.$read.<init>(<console>:44)
    at $line3.$read$.<init>(<console>:48)
    at $line3.$read$.<clinit>(<console>)
    at $line3.$eval$.$print$lzycompute(<console>:7)
    at $line3.$eval$.$print(<console>:6)
    at $line3.$eval.$print(<console>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
    at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
    at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
    at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
    at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
    at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
    at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
    at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:105)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
    at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
    at org.apache.spark.repl.Main$.doMain(Main.scala:68)
    at org.apache.spark.repl.Main$.main(Main.scala:51)
    at org.apache.spark.repl.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
java.lang.IllegalArgumentException: For input string: "true #是否记录Spark事件,用于应用程序在完成后重构webUI"
  at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
  at scala.collection.immutable.StringLike$class.toBoolean(StringLike.scala:260)
  at scala.collection.immutable.StringOps.toBoolean(StringOps.scala:29)
  at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
  at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
  at scala.Option.map(Option.scala:146)
  at org.apache.spark.SparkConf.getBoolean(SparkConf.scala:407)
  at org.apache.spark.SparkContext.isEventLogEnabled(SparkContext.scala:238)
  at org.apache.spark.SparkContext.<init>(SparkContext.scala:407)
  at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
  at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
  at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
  at org.apache.spark.repl.Main$.createSparkSession(Main.scala:95)
  ... 47 elided
<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql

1个回答

你看下几个配置文件是不是在写或者保存的时候有问题

Abrohambaby
NSDL 这里应该就是配置文件的问题 可就是找不到,我肯定是哪一步没有配置
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Spark源码解读之SparkContext初始化
SparkContext初始化是Driver应用程序提交执行的前提,这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName("mytest").setMaster("local[2]") val sc = new SparkContext(conf) 为例,打开debug模式,然后进行分析。
Spark源码剖析 - SparkContext的初始化(一)
1. SparkContext概述 注意:SparkContext的初始化剖析是基于Spark2.1.0版本的 Spark Driver用于提交用户应用程序,实际可以看作Spark的客户端。了解Spark Driver的初始化,有助于读者理解用户应用程序在客户端的处理过程。 Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是所有...
Spark 学习日志- SparkContext初始化
SparkContext初始化会主要涉及到以下内容: 1. Spark Env的初始化 2. 启动一个Task Scheduler 3. 启动DAG Scheduler 4. 启动schedule backend 5. Web UI 初始化env: // Create the Spark execution environment (cache, map output tracke
SparkContext初始化失败,java空指针异常
求助!!! SparkContext初始化失败,java空指针异常 在windows上运行spark,已经按照网上步骤安装了hadoop-common-bin,配置了host和环境变量,pycharm跑起来就报下面的错误,困扰多时,希望有大佬解答。 代码如下: from pyspark import SparkConf from pyspark.sql import SparkSession #s...
SparkContext的初始化
SparkDriver 用于提交用户的应用程序, 一、SparkConf 负责SparkContext的配置参数加载, 主要通过ConcurrentHashMap来维护各种spark.*的配置属性 class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable { import ...
Spark2.2源码剖析——SparkContext初始化及Spark环境创建
  阅读指导:在《Spark2.2——SparkContext概述》一文中,曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。   在Spark中,凡是需要执行任务的地方就需要SparkEnv。在生产环境中,SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要,因此在Driver本地的Executor也需要SparkEnv。Sp...
Spark2.1.0——SparkContext初始化之Spark环境的创建
阅读指导:在《Spark2.1.0——SparkContext概述》一文中,曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。          在Spark中,凡是需要执行任务的地方就需要SparkEnv。在生产环境中,SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要,因此在Driver本地的Executor也需要Spa...
Spark源码剖析 - SparkContext的初始化(七)_TaskScheduler的启动
7. TaskScheduler的启动 第五节介绍了TaskScheduler的创建,要想TaskScheduler发挥作用,必须要启动它,代码: TaskScheduler在启动的时候,实际调用了backend的start方法,即同时启动了backend。local模式下,这里的backend是localSchedulerBackend。在TaskScheduler初始化时传入local...
【Spark内核源码】SparkContext中的组件和初始化
目录 SparkContext概述 SparkContext组件概述 SparkContext初始化过程 第一步:确保当前线程中没有SparkContext在运行 第二步:版本反馈 第三步:真正的初始化 第四步:确认启动成功 SparkContext概述 在【Spark内核源码】Word Count程序的简单分析 当中使用Spark Shell编写了简单的Word Count程序...
Spark架构原理-SparkContext的初始化原理
我们通过spark-submit提交自己编写的代码,即提交一个Application。首先就是有一个Driver进程,在该进程构造SparkConf和SparkContext,而在构造SparkContext的时候会去构造DAGScheduler和TaskScheduler,以及Spark UI。在这里我们对SparkContext初始化原理进行剖析,就是剖析如何构造这三个组件的。 ...
Spark源码剖析 - SparkContext的初始化(十)_Spark环境更新
12.Spark环境更新 在SparkContext的初始化过程中,可能对其环境造成影响,所以需要更新环境,代码如下: SparkContext初始化过程中,如果设置了spark.jars属性,spark.jars指定的jar包将由addJar方法加入httpFileServer的jarDir变量指定的路径下。spark.files指定的文件将由addFile方法加入httpFileSe...
Spark源码剖析 - SparkContext的初始化(八)_初始化管理器BlockManager
8.初始化管理器BlockManager 无论是Spark的初始化阶段还是任务提交、执行阶段,始终离不开存储体系。Spark为了避免Hadoop读写磁盘的I/O操作成为性能瓶颈,优先将配置信息、计算结果等数据存入内存,这极大地提升了系统的执行效率。正是因为这一关键决策,才让Spark能在大数据应用中表现出优秀的计算能力。BlockManager是在sparkEnv中被创建的,代码如下: ...
Spark程序的入口之SparkContext
       今天讲的是sparkContext,这是spark程序的入口,每次写spark程序,首先你得: new sparkContext(conf),参数里是sparkConf,也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群,这个资源管理器可以是yarn,mesos,或者是spark集群管理器。sparkContext具体干哪些活呢?细节可...
SparkContext初始化原理剖析
SparkContext初始化主要就干了三件事:创建TaskScheduler、DAGSCheduler、SparkUI一、TaskScheduler的初始化机制1、首先创建TaskScheduler,调createTaskScheduler()2、这里会做三件事情:1、创建TaskSchedulerImpl(这个就是我们平时说的TaskScheduler)2、创建SparkDeploySched...
Spark源码解读之SparkContext剖析
最近一直在研究Spark,也自己练习做了几个项目,对于Spark这个框架特别的喜爱,尤其是其一站式的大数据解决方案,而且也对Spark MLlib中的机器学习算法很感兴趣,也学习过一段时间。但是在自己空闲下来回想,对于Spark的理解自己仅仅只是停留在表层,如果只是使用API来编写Spark程序,那么无疑将Spark与其他普通的框架混为一谈,发挥不了其作用,根本谈不上说熟悉Spark。因此,...
spark源码分析之sparkcontext原理篇
首先通过SparkContext方法,进行TaskScheduler的初始化机制,通过createTaskScheduler方法,通过创建TaskSchedulerImpl类(实际就是我们所说的taskScheduler)和SparkDeploySchedulerBackend,然后TaskSchedulerImpl的initialize方法,创建SchedulerPool(资源调度池,比如...
【Spark】源码分析之SparkContext
一、概述SaprkContext非常重要,是Spark提交任务到集群的入口SparkContext中没有main方法,在SparkContext主构造器中,主要做一下四件事情:1. 调用createSparkEnv()创建SparkEnv,SparkEnv中能够得到ActorSystem对象,用于创建Actor2. 创建TaskSchedule(用于创建Task),对任务提交的url进行模式匹配,...
SparkContext初始化的核心过程
1、依据sparkContext的构造方法的参数sparkConf创建一个sparkEnv 2、初始化sparkUI,以便sparkApplication运行时方便用户监控 默认端口4040 3、创建和启动scheduler        创建TaskScheduler,SchedulerBackend        创建BAGScheduler       启动 TaskSchedul
SparkContext初始化流程
SparkContext的初始化,包括事件总线(LiveListenerBus),UI界面,心跳,JobProcessListner,ExecutorAllocationManager(资源动态分配管理)等等等等,总之就是有很多东西,这里我只选取几个自认为是核心的东西介绍一下: DAGScheduler: 负责创建Job,RDD的Stage划分以及提交,还有一些监控数据 TaskSchedul...
SparkContext初始化过程
SparkContext是程序执行的入口,一个SparkContext代表一个应用,深入理解spark运行时机制,首先要了解SparkContext初始化过程。
Spark 源码阅读(3)——SparkContext创建
代码中的SparkContext在Spark应用程序的执行过程中起着主导作用,它负责与程序个Spark集群进行交互,包括申请集群资源、创建RDD、accumulators 及广播变量等。SparkContext与集群资源管理器、Worker结节点交互图如下图所示。官网对图下面几点说明: (1)不同的Spark应用程序对应该不同的Executor,这些Executor在整个应用程序执行期间都存在并且...
一.spark学习初体验之SparkContext
     我是初级菜鸟一枚,写博客也是为了自己复习巩固一下,同时记录一下自己学习spark的过程,希望和大家一起交流成长(希望大家千万别喷我,不然我会丧失继续写下去的勇气的)。    首先写一下我个人对spark运行架构原理的理解。    首先最重要的一步在driver上构建我们的SparkContext。在这一步主要做了四件事:    (1)创建了DAGScheduler            ...
Spark入门——SparkContext启动详解
SparkContext是Spark程序的入口。所以了解SparkContext的启动过程很有必要,SparkContext初始化过程主要干了如下几件事情: 根据SparkContext的构造参数SparkConf创建SparkEnv 创建TaskScheduler,并初始化 创建DAGScheduler 初始化SparkUI 还没写完。。。。
Spark分析之SparkContext启动过程分析
SparkContext作为整个Spark的入口,不管是spark、sparkstreaming、spark sql都需要首先创建一个SparkContext对象,然后基于这个SparkContext进行后续RDD的操作;所以很有必要了解下SparkContext在初始化时干了什么事情。   SparkContext初始化过程主要干了如下几件事情: 1、根据SparkContex
Spark:SparkContext原理剖析与源码分析
在Spark中,SparkContext是Spark所有功能的一个入口,你无论是用java、scala,甚至是python编写都必须要有一个SparkContext,它的主要作用,包括初始化Spark应用程序所需的一些核心组件,包括 调度器(DAGSchedule、TaskScheduler),还会去到Spark Master节点上进行注册,等等 首先通过SparkContext方法,进行Ta...
Spark源码剖析 - SparkContext的初始化(九)_启动测量系统MetricsSystem
9.启动测量系统MetricsSystem MetricsSystem使用codahale提供的第三方测量仓库Metrics。MetricsSystem中有三个概念: Instance:指定了谁在使用测量系统; Source:指定了从哪里收集测量数据; Sink:指定了从哪里输出测量数据; Spark按照Instance的不同,区分为Master、Worker、Applicat...
Spark源码剖析 - SparkContext的初始化(六)_创建和启动DAGScheduler
6.创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作,包括:创建Job,将DAG中的RDD划分到不同的Stage,提交Stage,等等。创建DAGScheduler的代码如下: DAGScheduler的数据结构主要维护jobId和stageId的关系、Stage、ActiveJob、以及缓存的RDD...
《apache spark源码剖析》 学习笔记之SparkContext
SparkContext的初始化综述 SparkContext是进行Spark应用开发的主要接口,是Spark上层应用与底层应用实现的中转站。 SparkContext在初始化过程中,主要涉及以下内容: SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUI SparkContext的构造函数中最重要的入参是SparkConf。
Spark学习起步(二):sparkContext
sparkshell跟sparkcontext调度关系: spark-shell -》 spark-submit -》 spark-class -》sparksubmit.main -》SparkILoop -》 createSparkContext sparkcontext是进行spark应用开发的主要接口,是spark上传应用与底层实现的中转站 spark初始化主要:
Spark源码分析笔记(三)SparkContext初始化之一SparkConf
val conf = new SparkConf().setAppName(appName).setMaster(master) val sc = new SparkContext(conf) val lines = sc.textFile(&quot;../README.md&quot;,2) 一般一个RDD开始这样写,配置conf参数,然后用conf作为入参初始化SparkContext。 SparkCon...
Spark内核源码深度剖析:sparkContext初始化的源码核心
TaskSchedulerImplsparkContext中的创建createTaskScheduler(2000多行) private def createTaskScheduler( sc: SparkContext, master: String): (SchedulerBackend, TaskScheduler) = { import SparkMast
SparkContext初始化图解与源码解析
源码解析: //standalone方式运行 case SPARK_REGEX(sparkUrl) => val scheduler = new TaskSchedulerImpl(sc) val masterUrls = sparkUrl.split(",").map("spark://" + _) val backe
Spark源码剖析 - SparkContext的初始化(二)_创建执行环境SparkEnv
2.创建执行环境SparkEnv SparkEnv是Spark的执行环境对象,其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor,所以SparkEnv存在于Driver或...
Spark源码剖析 - SparkContext的初始化(四)_Hadoop相关配置及Executor环境变量
4.Hadoop相关配置及Executor环境变量的设置 4.1Hadoop相关配置信息 默认情况下,Spark使用HDFS作为分布式文件系统,所以需要获取Hadoop相关配置信息的代码如下: 获取的配置信息包括: 将Amazon S3文件系统的AccessKeyId和SecretAccessKey加载到Hadoop的Configuration; 将SparkConf中所有以...
Spark源码剖析 - SparkContext的初始化(五)_创建任务调度器TaskScheduler
5.创建任务调度器TaskScheduler TaskScheduler也是SparkContext的重要组成部分,负责任务的提交,并且请求集群管理器对任务调度。TaskScheduler也可以看作任务调度的客户端。创建TaskScheduler的代码如下: createTaskScheduler方法会根据master的配置匹配部署模式,创建TaskSchedulerImpl,并生成不...
Spark2.2中 SparkContext的初始化操作
Spark2.2中SparkContext的初始化操作 SparkContext的主构造函数中执行(也就是一定会) val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode) graph TB A[SparkContext] --&gt;|主构造函数内调用| B[createTask
standby导致spark初始化失败问题记录
问题: 11:15:50,290 ERROR ~ Error initializing SparkContext. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby     ...
Spark 源码解析之SparkContext家族(一)
SparkContextSparkContext 是Spark 应用的主入口,通过它可以连接Spark 集群,并在集群中创建RDD,累加器,广播变量等;==每一个启动 JVM 上只能有一个SparkContext,在启动一个新的SparkContext之前,必须停掉处于活动状态的SparkContext==。/** * Main entry point for Spark functionalit
SparkContext
本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。语言部分由浅入深,使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。
【Spark内核源码】SparkContext一些方法的解读
目录 创建SchedulerBackend的TaskScheduler方法 设置并启动事件总线 发布环境更新的方法 发布应用程序系统的方法 在【Spark内核源码】SparkContext中的组件和初始化 已经介绍了Spark初始化时是如何执行的,都创建了哪些组件。这些组件具体技术细节后面会慢慢的说,而针对SparkContext,里面还有一些方法,值得大家品一品。 创建Schedul...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数