java 远程连接spark 出现错误 20C

我使用的是sequenceiq/spark 搭建的docker集群,但是本机上能正常的运行,但是通过java远程连接访问的时候出现错误

代码为:

        SparkConf sparkConf = new SparkConf().setAppName("JavaTopGroup").setMaster("spark://10.73.21.221:7077");

        JavaSparkContext ctx = new JavaSparkContext(sparkConf);

出现的错误为:

 17/12/07 19:17:47 ERROR StandaloneSchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
17/12/07 19:17:47 WARN StandaloneSchedulerBackend: Application ID is not initialized yet.
17/12/07 19:17:47 INFO SparkUI: Stopped Spark web UI at http://10.73.7.25:4040
17/12/07 19:17:47 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 8163.
17/12/07 19:17:47 INFO StandaloneSchedulerBackend: Shutting down all executors
17/12/07 19:17:47 INFO NettyBlockTransferService: Server created on 10.73.7.25:8163
17/12/07 19:17:47 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
17/12/07 19:17:47 INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Asking each executor to shut down
17/12/07 19:17:47 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 10.73.7.25, 8163, None)
17/12/07 19:17:47 INFO BlockManagerMasterEndpoint: Registering block manager 10.73.7.25:8163 with 900.6 MB RAM, BlockManagerId(driver, 10.73.7.25, 8163, None)
17/12/07 19:17:47 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 10.73.7.25, 8163, None)
17/12/07 19:17:47 WARN StandaloneAppClient$ClientEndpoint: Drop UnregisterApplication(null) because has not yet connected to master
17/12/07 19:17:47 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 10.73.7.25, 8163, None)
17/12/07 19:17:47 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
17/12/07 19:17:47 INFO MemoryStore: MemoryStore cleared
17/12/07 19:17:47 INFO BlockManager: BlockManager stopped
17/12/07 19:17:47 INFO BlockManagerMaster: BlockManagerMaster stopped
17/12/07 19:17:47 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
17/12/07 19:17:47 ERROR TransportResponseHandler: Still have 3 requests outstanding when connection from /10.73.21.21:7077 is closed
17/12/07 19:17:47 INFO SparkContext: Successfully stopped SparkContext
17/12/07 19:17:47 ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem
    at scala.Predef$.require(Predef.scala:224)
    at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:524)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at org.com.will.sparkl.App.main(App.java:24)
17/12/07 19:17:48 INFO SparkContext: SparkContext already stopped.
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem
    at scala.Predef$.require(Predef.scala:224)
    at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:524)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at org.com.will.sparkl.App.main(App.java:24)
17/12/07 19:17:48 INFO ShutdownHookManager: Shutdown hook called
17/12/07 19:17:48 INFO ShutdownHookManager: Deleting directory C:\Users\will\AppData\Local\Temp\spark-c60f05a8-5476-469b-8c43-d8476796a1dd
0

1个回答

yarn-client模式

0
ludhi
ludhi yarn-client模式
一年多之前 回复
LEoe_
leoe_ 我刚学习 能详细说下么?
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spark程序远程连接mysql数据库报错
Exception in thread &quot;main&quot; java.sql.SQLException: null,  message from server: &quot;Host '192.168.1.121' is not allowed to connect to this MySQL server&quot;报错原因:mysql服务器不允许远程连接经查找资料,解决方式如下:登录mysql数据库:mysql -ur...
使用Spark的JavaAPI访问局域网中的Spark集群
1、客户端环境Win7 + JDK1.8 + IDEAMeaven配置:&amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; ...
Spark应用远程调试
本文介绍Spark远程调试的基本方法。基于IntelliJ 社区版。
SparkContext初始化失败,java空指针异常
求助!!! SparkContext初始化失败,java空指针异常 在windows上运行spark,已经按照网上步骤安装了hadoop-common-bin,配置了host和环境变量,pycharm跑起来就报下面的错误,困扰多时,希望有大佬解答。 代码如下: from pyspark import SparkConf from pyspark.sql import SparkSession #s...
idea调试远程spark服务器(2017.04图文,非转载)
我们在编写Spark Application或者是阅读源码的时候,我们很想知道代码的运行情况,比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式,但是,logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。   本文以调试Spark Application为例进行说明,本文用到的IDE
分布式sparkSQL引擎应用:从远程通过thriftServer连接spark集群处理hive中的数据
实现原理: 客户端(java程序)与thriftServer连接,thriftServer再代理客户端转换成spark的操作流程,再加载hive的数据到spark的worker节点,并运行Map-Reduce作业。这里只是个小案例,和大家一起来探讨一下原理。 步骤: 分发三个配置文件hdfs-site.xml、core-site.xml、hive-site.xml到所有worker节
Spark处理远程mongodb数据报错
报错:Failed with exception java.io.IOException:java.io.IOException: Unable to calculate input splits: not authorized on loan to execute command { splitVector: &quot;loan.operatorMongoModel&quot;, keyPattern: { _i...
win10远程连接服务器出现身份验证错误,要求的函数不受支持
有段时间没有连接服务器了,再去连接时却出现“出现身份验证错误,要求的函数不受支持”这样的问题,这让人有点不知所措。。。。解决办法:1.打开注册表(win+R,输入regedit)2.依次找到HKEY_LOCAL_MACHINE --》SOFTWARE --》Microsoft --》Windows --》CurrentVersion --》Policies --》System 3.在System内...
Eclipse远程调试Spark
背景  在安装好spark的前提下,我们写的代码需要进行远程调试怎么办?看了网上很多文档发现每一个是正确的,今天特分享分享。 修改配置文件 修改${spark_home}/bin/spark-class文件,找到JAVA_OPTS: 参数说明: -Xdebug 启用调试特性 -Xrunjdwp 启用JDWP实现,包含若干子选项: transport=dt_socket
阿里云Windows远程连接出现身份验证错误,要求的函数不正确”的报错。
    最近很多阿里云用户在远程Windows Server的云服务器ECS时出现“身份验证错误,要求的函数不受支持”的报错。   这个问题解决起来非常简单,修改组策略中的一个配置就可以了。 在运行中输入gpedit.msc     然后打开计算机配置&amp;gt;管理模板&amp;gt;系统&amp;gt;凭据分配&amp;gt;加密Oracle修正,如下:   选择启用选择易受攻击。如下:  ...
Windows10远程连接错误-出现身份验证错误。要求的函数不受支持
A电脑(Windows 10)远程连接B电脑(Widows Server 2016), 出现错误:出现身份验证错误。要求的函数不受支持 远程计算机:xx.xx.xx.xx这可能是由于CredSSP加密Oracle修正...貌似这两天A电脑有更新。解决方法:在A电脑中,运行 gpedit.msc本地计算机策略-》管理模板-》系统-》凭证分配-》加密Oracle修正...
阿里云远程连接服务器出错
进行远程桌面连接时,出现以下错误 这是由于没有打开端口号,3389,所以在云服务器控制台中找到“安全组”,如图 选择配置规则,在配置规则中选择“添加安全组规则”或者“快速创建规则”, 按要求填写端口和授权对象,主要填写3389端口号,规则如图显示。 当选择“快速创建规则”时,在其中可以选择自己想要打开的端口即可。 最后重启远程电脑,进行登录即可解决问题
使用spark时出现的错误
刚刚开始使用spark+java,两个都不会没办法只能从头踩坑首先复制粘贴了wordcount工程import scala.Tuple2; import java.util.Arrays; import static com.google.common.base.Preconditions.checkArgument; /** * WordCountTask class, we will ...
W10家庭版在远程连接时出现“身份验证错误要求函数不支持。远程计算机:这可能是由于CredSSP加密Oracle修正”
安装w10系统由于不是企业版,而是家庭版,远程连接的时候出现下面问题经过小编的持续努力,终于成功的解决了问题,具体流程如下(强烈建议安装企业版,避免麻烦):首先网上搜索有如下几种解决方案:1)情况1中认为需要加密Oracle修正,但是在w10家庭版中仔细查找,发现并没有组策略这类内容(通过本文后续的两种方法添加组即可)安装完毕,方式1Win10家庭版直接升级到Win10专业版来添加组策略,方式2W...
win10家庭版远程桌面连接出现身份验证错误
        以前连接时完全没有问题,最近再次连接时出现“身份验证错误,要求的函数不支持,balabala,这可能是由于CredSSp加密Oracle修正。”网上找了原因说是win10系统自动更新了一个组件导致的,只要卸载就行。解决方法:...
远程连接内部错误-无法解析DNS-可以上网
1.单击“开始”,运行中输入cmd。 2.然后输入命令 netsh winsock reset。 3.重启计算机。 winsock是Windows网络编程接口,winsock工作在应用层,它提供与底层传输协议无关的高层数据传输编程接口 netsh winsock reset 是把它恢复到默认状态 netsh winsock reset命令,作用是重置
window10专业版解决远程连接出现的“身份验证错误,要求的函数不支持”问题
问题:出现身份验证错误,要求的函数不支持, 这可能是由于CredSSP加密Oracle修正 原因是两台电脑其中一台打了XXX补丁,一台没有官方链接:https://support.microsoft.com/zh-cn/help/4093492/credssp-updates-for-cve-2018-0886-march-13-2018解决方法一:    1.win+R打开运行,在运行框中输入 ...
远程连接出现身份验证错误,要求的函数不受支持
前言:远程连接服务器时,出现远程连接错误,要求的函数不受支持。 图1.1 解决方案一:配置本地机的组策略。 gpedit.msc-&amp;amp;gt;计算机配置-&amp;amp;gt;管理模板-&amp;amp;gt;系统-&amp;amp;gt;凭据分配-&amp;amp;gt;加密Oracle修正-&amp;amp;gt;启动该策略,配置为“易受攻击&amp;quot;。 图 2.1 图2.2 解决方案二:修改远程机的远程连接设置。 将远程机的属性设置为不安全。注意:服务
java远程连接oracle详细教程
java远程连接oracle的详细教程及出现的一般问题解决方法
-Error-阿里云远程桌面连接时提示发生身份验证错误
阿里云一段时间没有连,今天远程,提示“发生身份验证错误”,密码重置之后依旧提示该错误。 解决办法: 登陆阿里云网站,登陆后,点击控制台 2. 选择云服务器 3. 选择正在运行的服务器 4. 选择远程连接,输入远程密码 5. 依次点击开始,我的电脑,属性 6. 点击远程设置 7. 将远程设置选到第二条既可 8. 重新进行远程,连接成功! ...
远程桌面连接发生身份验证错误
今早远程连接不上服务器,以为服务器又宕机了。 提示信息: An authentication error has occurred. The function requested is not supported. Remote computer: &amp;lt;hostname&amp;gt; 然后搜了一下,发现是更新补丁的锅。正好今天开机时发现电脑在更新。 OK,那就卸载那个更新。当然不,参照这...
win10连接远程桌面,出现身份验证错误,要求的函数不正确,这可能是由于CredSSP加密Oracle修正
升级至win10 最新版本10.0.17134,安装最新补丁后无法远程win server 2016服务器,报错信息如下:出现身份验证错误,要求的函数不正确,这可能是由于CredSSP加密Oracle修正。解决方法:参照微软kb:本地组策略:计算机配置&amp;gt;管理模板&amp;gt;系统&amp;gt;凭据分配&amp;gt;加密Oracle修正选择启用并选择“易受攻击”。...
本地远程连接到阿里云出现身份验证错误
阿里云本身支持云服务器管理控制台处远程控制服务器,但是如果在本地用win10自带的远程桌面登陆会出现“身份验证错误,要求的函数不受支持”的错误。 根据提示,这个问题只要修改组策略中的一个配置就行。 首先,win+R打开运行,在运行中输入gpedit.msc,然后选择计算机配置》管理模板》系统》凭据分配 然后打开加密Oracle修正选项卡,将“未配置”修改为“已启用”,并把保护级别修改为“易受攻击...
windows10系统连接远程服务器出现身份验证错误,要求的函数不受支持 -
当我们连接远程服务器时,“出现身份验证错误,要求的函数不受支持”这样的问题,这让人有点不知所措。。。。 当然也不用着急,其实解决办法也很简单的,按照楼主下面的步骤走就OK了,提示:一定要仔细点哈! 好了废话不多说,直接看解决办法 解决办法: 1.打开注册表(win+R,输入regedit) 2.依次找到HKEY_LOCAL_MACHINE --》SOFTWARE --》Microso...
远程连接服务器显示:发生身份验证错误 要求的函数不受支持
今天用远程桌面连接服务器,登录不上,发生如标题所说的错误。网上查找原因,终于解决,步骤如下:注意:问题不是出在服务器,而是出在远程桌面客户端,在微软打了补丁后,相当于限制了权限。修改要去登录服务器的那台客户端电脑就可以了。客户端操作系统:win7专业版双击“加密Oracle修正“然后重新打开远程登录客户端就可以登录了。...
远程连接出现身份验证错误,要求连接函数不接受问题
server R2 文件共享服务器远程登录发生错误无法登录,测试在同一局域网其他电脑可正常登陆,电脑刚好更新过新的补丁;windows 安全更新通过更正 CredSSP 在身份验证过程中验证请求的方式来修复漏洞,KB 4093120 中的远程桌面客户端 (RDP) 更新将增强更新的客户端无法连接到尚未更新的服务器时出现的错误消息。我们可将服务器打上补丁或者卸载或修改客户端策略;下面我们看一下修改客...
远程连接阿里云服务器出现"远程桌面,身份验证错误:要求的函数不受支持"解决办法
今天在远程连接阿里云服务器的时候遇到了下面这个问题:(win10家庭版): 在这里分享一下我的解决方式: windows+R打开运行  输入regedit打开注册表        到达如下路径:【计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Param...
远程桌面连接出现身份验证错误
手动修改 登录实例或者本地计算机。 单击 开始 &amp;gt; 运行,输入 regedit,单击 确定。 定位到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters 键。如果 CredSSP 或者 Parameters 键不存在,请新建 CredSSP 或者 Pa...
远程连接提示错误(Oracle)
2018-05-10 18:30 by 贾小蕾, 31928 阅读, 12 评论, 收藏, 编辑 Windows10远程桌面连接 报错信息 : 网上找到方法 但是奈何是 &quot;Win10家庭版&quot; 不能使用这个办法,具体操作可以看最后的引用链接 !!!!策略路径:“计算机配置”-&amp;gt;“管理模板”-&amp;gt;“系统”-&amp;gt;“凭据分配”设置名称: 加密 Oracle 修正只能换...
远程连接 内部错误 解决办法
用管理员身份运行 netsh winsock reset
win10远程连接出现身份验证错误
在网上找了很多方法:1. 修改我的电脑-&amp;gt;属性-&amp;gt;远程设置-&amp;gt;系统属性-&amp;gt;属性--选择允许的即可2.运行 gpedit.msc-&amp;gt;本地组策略:-&amp;gt;计算机配置&amp;gt;管理模板&amp;gt;系统&amp;gt;凭据分配&amp;gt;加密Oracle修正选择启用并选择易受攻击。但是我的系统是win10家庭版 都没有用。。。。。。问了很多人最后有人告诉我一个办法:修改注册表--&amp;gt;以下...
Mysql 远程连接权限错误1045问题
#今天新安装mysql以后,由于没有勾选Enable root access from remote machines 而再连接数据库时出现了以下问题 走了许多绕路,在这里做下笔记。 网上查阅资料很多说是密码问题,我一开始也是照着网上的方法去服务器上修改密码,然后本地连接,结果还是出错,才发现是混淆了一些东西。 数据库的root账户分两种,一种是本地,一种是远程: 我需要修改的是远程root密码...
spark集群模式调试以及远程配置
最近学习spark,在本地模式跑完程序,想再去集群上面测试,但是发现一直报下面错误: java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; at CF$$anonfun$3.apply(CF.scala:33) ...
(解决办法)远程服务器,出现身份验证错误,要求的函数不支持
无法远程服务器,报错信息如下:出现身份验证错误,要求的函数不受支持。可能是由于CredSSP加密Oracle修正。微软给出解决方案:https://support.microsoft.com/zh-cn/help/4093492/credssp-updates-for-cve-2018-0886-march-13-2018(点击打开链接)具体解决办法windows专业版以上:打开组策略编辑器配置完...
解决远程桌面连接出现内部错误问题?
管理员身份输入执行语句, netsh winsock reset
阿里云服务器远程连接身份验证错误问题
阿里云服务器远程桌面连接时出现身份验证错误,问题如下图 在网上查阅资料说是要在输入gpedit.msc命令,修改组策略中的设置,但是输入之后会出现找不到gpedit.msc的错误提示 然后又在网上查阅资料,修改了好多都不管用。最后在阿里云上提交了工单,具体的解决方法是修改注册表: 1、手动修改 (1)、登录实例或本地计算机。 (2)、单击开始&amp;gt;运行或直接Windows+R,输入reged...
WIN10远程桌面连接--“出现身份验证错误。要求的函数不支持”
1. 最近WIN10升级补丁后发现远程桌面无法连接了,报“出现身份验证错误,要求的函数不支持”的错误: 2. 解决办法 1 第一种:配置本地自己的电脑; 开始菜单-&amp;gt;搜索gpedit.msc并打开 打开配置项:计算机配置&amp;gt;管理模板&amp;gt;系统&amp;gt;凭据分配&amp;gt;加密Oracle修正 选择启用并选择易受攻击,配置保存后即可解决问题。 WIN10家庭版如...
win10远程桌面连接-出现身份验证错误解决方法
最近很多人win10升级补丁后出现远程桌面无法连接问题,远程桌面连接Window Server时报错信息如下:出现身份验证错误,要求的函数不支持,这可能是由于CredSSP加密Oracle修正。怎么办呢?win10远程桌面连接出现身份验证错误解决方法:1、运行 gpedit.msc2、本地组策略:计算机配置&amp;gt;管理模板&amp;gt;系统&amp;gt;凭据分配&amp;gt;加密Oracle修正3、选择启用并选择易...
远程桌面连接出现身份验证错误解决
1.提示错误: 2.命令运行:gpedit.msc 3.本地计算机策略-》管理模板-》系统-》凭证分配-》加密Oracle修正-》策略设置 点击“策略设置”打开 改为:    ...
远程桌面连接发生身份验证错误,提示要求的函数不受支持
自己捯饬了几个服务器,其中有winidows的,平常一直远程桌面进行连接做一些操作。昨天晚上更新系统之后,今天连接不上了,提示出现身份验证错误,要求的函数不受支持。 这是由于 凭据安全支持提供程序协议 (CredSSP) 是处理加密Oracle修正所导致。 解决方法如下: 1. 打开“本地组策略管理器” 按下 windows + R,调出运行窗口,输入 gpedit.msc ,...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java学习常出现的问题 学习java容易犯的错误

相似问题

2
可否让spark算子执行到某一步时,通过某些控制条件,让整个spark程序停止,或者在那一步保存结果到文件?
0
可否让spark算子执行到某一步时,通过某些控制条件,让整个spark程序停止,或者在那一步保存结果到文件?
2
Spark中如何将多个LabeledPoint合并成一个LabeledPoint,用以训练分类模型
1
如何将spark读入的txtRDD文本转为Vector格式
1
spark的dataframe中如何提取某一列数据的类型做判断?
1
java里调用scala的HashMap[Long,Long],返回的是HashMap[Object,Object]?
1
求算法,一篇论文中的spark随机森林并行问题。
1
spark on yarn 8088界面只有一个程序是Running状态,其他都是ACCEPTED状态
1
使用livy提交spark任务失败
2
当jar在hdfs的时候提交spark job报错
2
为什么Spark只会惰性计算RDD?
2
在Java web中怎么提交一个spark job任务?
1
spark shell在存运算结果到hdfs时报java.io.IOException: Not a file: hdfs://mini1:9000/spark/res
1
spark一般任务的初始并行度怎么确定?
1
spark pair RDD创建操作
2
spark submit 提交集群任务后,spark Web UI界面不显示,但是有4040界面,显示local模式
1
Spark提交作业为什么一定要conf.setJars(),它的具体作用到底是什么?
2
如何用spark实现:编写spark程序调用外部程序或者调用动态链接库函数,对批量文件进行处理?
1
spark读取kafka数据, 缓存当天数据
4
关于spark离线程序读写本地文件的问题