spark sparkcontext 初始化失败 5C

环境 Ubuntu 16.04
hadoop 2.7.3
scala 2.11.8
spark 2.1.0
已经安装好了hadoop scala,之后配置了下 spark 运行 spark-shell 就爆出来下面的错误

 18/05/22 15:43:30 ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: For input string: "true #是否记录Spark事件,用于应用程序在完成后重构webUI"
    at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
    at scala.collection.immutable.StringLike$class.toBoolean(StringLike.scala:260)
    at scala.collection.immutable.StringOps.toBoolean(StringOps.scala:29)
    at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
    at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
    at scala.Option.map(Option.scala:146)
    at org.apache.spark.SparkConf.getBoolean(SparkConf.scala:407)
    at org.apache.spark.SparkContext.isEventLogEnabled(SparkContext.scala:238)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:407)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
    at org.apache.spark.repl.Main$.createSparkSession(Main.scala:95)
    at $line3.$read$$iw$$iw.<init>(<console>:15)
    at $line3.$read$$iw.<init>(<console>:42)
    at $line3.$read.<init>(<console>:44)
    at $line3.$read$.<init>(<console>:48)
    at $line3.$read$.<clinit>(<console>)
    at $line3.$eval$.$print$lzycompute(<console>:7)
    at $line3.$eval$.$print(<console>:6)
    at $line3.$eval.$print(<console>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
    at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
    at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
    at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
    at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
    at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
    at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
    at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:105)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
    at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
    at org.apache.spark.repl.Main$.doMain(Main.scala:68)
    at org.apache.spark.repl.Main$.main(Main.scala:51)
    at org.apache.spark.repl.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
java.lang.IllegalArgumentException: For input string: "true #是否记录Spark事件,用于应用程序在完成后重构webUI"
  at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
  at scala.collection.immutable.StringLike$class.toBoolean(StringLike.scala:260)
  at scala.collection.immutable.StringOps.toBoolean(StringOps.scala:29)
  at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
  at org.apache.spark.SparkConf$$anonfun$getBoolean$2.apply(SparkConf.scala:407)
  at scala.Option.map(Option.scala:146)
  at org.apache.spark.SparkConf.getBoolean(SparkConf.scala:407)
  at org.apache.spark.SparkContext.isEventLogEnabled(SparkContext.scala:238)
  at org.apache.spark.SparkContext.<init>(SparkContext.scala:407)
  at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
  at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
  at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
  at org.apache.spark.repl.Main$.createSparkSession(Main.scala:95)
  ... 47 elided
<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql

0

1个回答

你看下几个配置文件是不是在写或者保存的时候有问题

1
Abrohambaby
NSDL 这里应该就是配置文件的问题 可就是找不到,我肯定是哪一步没有配置
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark-assembly linux下运行local模式缺失包
spark streaming job 打成jar包,在linux系统下运行local模式,报错: 18/04/12 14:14:18 ERROR SparkContext: Error initializing SparkContext. com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:145) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:151) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:164) at com.typesafe.config.impl.SimpleConfig.getString(SimpleConfig.java:206) at akka.actor.ActorSystem$Settings.<init>(ActorSystem.scala:169) at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:505) at akka.actor.ActorSystem$.apply(ActorSystem.scala:142) at akka.actor.ActorSystem$.apply(ActorSystem.scala:119) at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem&#40;AkkaUtils.scala:121&#41; at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53) at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:52) 补全spark-assembly jar包解决问题。 java -cp ./wd:./spark-assembly.jar:./spark-streaming-job.jar job-main
电脑关机的时候,连续显示好几个*.exe—DLL初始化失败
电脑关机的时候,连续显示好几个*.exe—DLL初始化失败,解决方法:
组态王设备初始化失败安装可用
组态王设备初始化失败时,安装此控件通常就能立马解决问题。
应用程序正常初始化(0xc0150002)失败 解决 方法
应用程序正常初始化(0xc0150002)失败 解决 方法 下载运行即可!
VS200X应用程序初始化失败的解决方法
VS200X应用程序初始化失败的解决方法
深入理解Spark 核心思想与源码分析.pdf
讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析
win2003 安全帐户管理器初始化失败
Windows server 2003 服务器,突然不能正常登录,提示服务器启动时报错:安全帐户管理器初始化失败,目录服务无法启动点“确定”,服务器就自动重启,无法进入桌面,安全模式也进入不了,只能进入目录服务还原模式
ov7670初始化
初始化OV7670,夜视自动爆光,图像处理功能包括伽玛曲线、白平衡、饱和度、色度调整.
C#LoadC++DLL失败
The program can't start because ****.dll is missing from you computer. Try reinstalling the program to fix this problem.
PHY-DP83848C初始化文件
DP83848C的初始化文件,是源程序。已验证过。可正确使用。
Spark内核设计的艺术架构设计与实现
全书分为10章。靠前章介绍Spark学习环境的搭建。第2章介绍Spark的基本知识和架构。第3章介绍Spark内核底层的基础设施。第4章介绍SparkContext的初始化。第5章介绍Spark执行环境SparkEnv。第6章介绍Spark自身的存储体系。本章不同于其他书籍将存储的各个组件视为不同内容,而是将存储体系的内容凝聚起来。第7章介绍Spark的调度系统。第8章介绍Spark的计算引擎。第9章介绍Spark的部署模式。靠前0章介绍Spark的API。Spark从表面上看与之前版本大的不同是API,所以本章拿个别API的实现作为例子,分析其源码实现,让读者理解新老API之间的异同。
MySql_5.5安装_卸载_权限初始化说明
详细介绍mysql使用,对初学者很有帮助,和入门数据库具有极大的帮助价值。
应用程序初始化失败修复工具
玩游戏和其他应用程序经常出现错误,这时候我们经常下载什么dll文件去填补,其实这个修复软件是最好的!
RoundWindow 圆形窗口
RoundWindow.h RoundWindow.cpp Dibapi.h
MACHINE LEARNING WITH SPARK
Nick首先介绍了Spark编程模型及其组件,比如SparkContext和弹性分布式数据集(RDD)。同时,他谈到了如何使用不同的编程语言,比如Scala、Java和Python来编写Spark程序。
Kerbors协议 java版
用java写的kerbors安全协议,内部通信用AES加密
android studio初始化报错
解决引入报错 OpenCV error: Cannot load info library for OpenCV
stm32f103vdt6 can初始化
如果用stm32f103vdt6 的can功能,哪一定不容错过我这个can初始化程序,如果不好用,哪一定是你的硬件有问题喲。
使用 wglChoosePixelFormatARB和 wglCreateContextAttribsARB初始化opengl环境
使用wglChoosePixelFormatARB代替ChoosePixelFormat、wglCreateContextAttribsARB代替wglCreateContext初始化opengl环境.使用MFC临时窗口初始化glew库
Spark快速数据处理.pdf
《Spark快速数据处理》系统讲解Spark的使用方法,包括如何在多种机器上安装Spark,如何配置一个Spark集群,如何在交互模式下运行第一个Spark作业,如何在Spark集群上构建一个生产级的脱机/独立作业,如何与Spark集群建立连接和使用SparkContext,如何创建和保存RDD(弹性分布式数据集),如何用Spark分布式处理数据,如何设置Shark,将Hive查询集成到你的Spark作业中来,如何测试Spark作业,以及如何提升Spark任务的性能。
Win7 64位操作系统无法连接Wince设备驱动程序,提示ActiveSync 引导程序初始化失败
vs开发工具错误提示:ActiveSync 引导程序初始化失败。请连接/配备一个实际的设备,或者从 http://go.microsoft.com/fwlink?linkid=67763 下载用户级 Windows Mobile Device Center 应用程序 Device Connectivity Component
标题 状态 阅读 评论 评论权限 操作 CDH5.5上安装Rhadoop,RStudio server版初始化SparkR
RStudio 安装完成后,如何初始化sparkR?CDH5不能用sparkR? CDH5只要hdfs和hive,spark直接公网下载最新版本,然后直接spark on yarn. sparkR初始化即可调测。
虚拟机初始化不了
\\.\Global\vmx86虚拟机启动过程中,报这种错误,然后启动不了。 本文档可以很好的解决这个问题。
(4)Spark程序的开发和运行
创建SparkContext WordCount程序
U6年结问题及解决方法汇编
U6年结问题及解决方法汇编,给有需要的人
BDE安装文件
an error occurred while attempting to initialize the borland database engine(error $2108)创建本地临时表的数据出错! 的解决办法是重新安装BDE 如果安装不了: BDE初始化失败 解决方法:先将C:\Program Files\Common Files\Borland Shared\BDE的全部文件删除,然后重新安装BDE
MSXML4.DLL 动态链接库文件
MSXML4.DLL 动态链接库文件,用于vc开发,主要帮助你解决xml的问题,非常的方便实用哦!~~~
宏视700系列采集卡驱动
宏视700X系列采集卡使用,含驱动和应用软件一起,安装时候注意看提示!
无法读取iis redirection.config 无法访问iis express applicationhost.config
无法访问iis express applicationhost.config 无法读取iis redirection.config
instantclient
使用PLSQL 远程连接oracle数据库工具类,否则提示提示:初始化失败
M1卡初始化工具
M1卡
flash模块烧录上位机程序
实习期间做的一个项目 通过串口 把字库文件按协议的数据帧格式发送到下位机 接收下位机的回送信息 进行判断是否发送成功
告警监控发送邮件脚本
告警监控发送邮件脚本
循环遍历dataset
循环遍历dataset
中控联机考勤系统连uru4000/uru4000b指纹仪即可考勤
中控联机考勤系统连uru4000/uru4000b指纹仪即可考勤 有问题可以联系QQ156770505
解决soket初始化失败问题
更新了一个有关windows 7的补丁后,虚拟机运行脚本的时候就出现了socket端口初始化失败问题,下载后双击即可解决
三菱 初始化失败 解决文件
创建新工程失败的解决办法,此办法限仅于解决“创建新工程失败”
ov7670初始化程序集合
stm32初始化ov7670(带寄存器详细注释),各种版本都有
PrimoCache和PrimoRamdisk 重置试用期
PrimoCache和PrimoRamdisk 重置试用期 PrimoCache 支持版本 V2.4.0 V2.5.0 V2.6.0 PrimoRamdisk 支持版本 V5.7.0 如果同时安装了PrimoCache 和 PrimoRamdisk, 那么重置试用期的时候如果只是针对其中的一个软件执行重置动作, 则会影响到另一个软件,因为这两个软件存储试用期相关信息当中使用了一个共用的文件, 就是windows\system32\下面的特殊隐藏文件, 重置试用期势必要执行清理这个文件的动作,所以如果同时安装使用了Primo的两款软件的话, 重置试用期的时候必须要针对两个软件都处理一下,即两个软件都进行试用期重置动作。 如果只安装使用PrimoCache则不是必须下载这个脚本。使用单独针对PrimoCache的脚本就可以了。 这个脚本可以处理只安装了 PrimoCache 和 PrimoRamdisk 其中一种软件的试用期重置。 也可以处理同时安装了PrimoCache 和 PrimoRamdisk 两个软件的试用期重置。 临时目录 由于涉及到处理PrimoRamdisk, 内存虚拟硬盘的使用情况当中, 一定存在不少用户会把系统变量中的TEMP临时目录指向虚拟内存盘, 而软件过期之后,虚拟内存盘就会无效,这样变量TEMP就指向了一个无效的目录。 脚本当中涉及到使用临时目录作为工作目录,用于存储临时文件, 处理PrimoCache的话可以直接利用系统的TEMP变量, 但是涉及到处理PrimoRamdisk的话,由于上面的原因就不能使用系统的TEMP变量了, 否则极有可能会有用户在某个特定时刻运行脚本会遭遇错误。 所以脚本里的临时目录设定在脚本所在目录下,不再使用系统变量的TEMP目录。
xgboost4j-spark.jar 0.7版本 xgboost4j.jar 0.7版本以及其他jar包
很多人反应编译不出xgboost4j的相关jar包 现将所有xgboost4j生成的jar包上传 供学习工作使用 jar包是在jvm-packages下生成最新的0.7版本
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 spark大数据培训 java学习失败经历分享