flink在hadoop yarn运行出错,报相应的jar找不到(self4j)

在flink目录执行./bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024时,启动的时候报2018-12-16 16:01:42,879 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink Yarn session.
org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster
at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploySessionCluster(AbstractYarnClusterDescriptor.java:423)
at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:607)
at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$2(FlinkYarnSessionCli.java:810)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:810)
Caused by: org.apache.flink.yarn.AbstractYarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment.
Diagnostics from YARN: Application application_1544946711234_0002 failed 1 times due to AM Container for appattempt_1544946711234_0002_000001 exited with exitCode: -1000
For more detailed output, check application tracking page:http://master:8088/proxy/application_1544946711234_0002/Then, click on links to logs of each attempt.
Diagnostics: File file:/root/.flink/application_1544946711234_0002/lib/slf4j-log4j12-1.7.15.jar does not exist
java.io.FileNotFoundException: File file:/root/.flink/application_1544946711234_0002/lib/slf4j-log4j12-1.7.15.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534)

2个回答

在/root/.flink/ 下没有任务东西; 图片说明
//

经排查是没有export hadoop的环境变量,只是添加了变量;export后就好了;

我的环境变量是在~/.bash_profile下添加的,Yarn都能启动,HDFS也能启动,但是启动Flink执行任务到Yarn上就会找不到这个文件,我自己跟着路径去找发现有存在,实在搞不懂什么问题了,求教究竟如何解决的这个问题

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Flink安装与运行——flink on yarn
Flink下载地址:https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本,因此选择2.7稳定版进行安装(兼容) 以下操作请在集群的所有节点进行 解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...
Linux平台下hadoop运行jar出错
在使用putty远程连接到hadoop 服务器后,传入一个上传本地文件到hdfs上的jar包,运行jar包出错。
运行flink on yarn遇到的一些问题
1,根据hadoop的版本在flink的页面上下载对应于hadoop版本和scala版本的flink的包 2,使用start-yarn.sh在集群上运行yarn,启动后可以在8088上面找到yarn的web界面 需要注意的是,需要将resourcemanager的地址指向master的地址 <property> <name>yarn.nodemanager....
【Flink】Flink集群部署与YARN集成
1、Standalone 软件要求: Java 1.8.x or higher ssh JAVA_HOME配置 You can set this variable in conf/flink-conf.yaml via the env.java.home key. Flink配置: 下载解压 配置:conf/flink-conf.yaml
linux 运行jar报
nohup java -jar shareniu.jar 注意事项:网上质量很多都是nohup Java结果运行时一直报,没有Java文件,要注意字母大小写
Hadoop之YARN在单节点上运行
Hadoop之YARN在单节点上运行
Hadoop伪分布式运行及YARN的初始化
上篇文章Hadoop基本环境搭建http://blog.csdn.net/jaky0306/article/details/72676904 的末尾,我们配置了Hadoop的伪分布式模式 本次我们来运行下伪分布式模式的例子。 伪分布式模式读取的是HDFS上的数据。其实它跟单机模式的操作很相似的,只不过,单机模式操作的是本地文件,伪分布模式操作的是HDFS上的数据 Hado
运行hadoop jar
NULL 博文链接:https://byx5185.iteye.com/blog/1490172
flink on yarn 集群环境部署
flink on yarn
Flink Yarn 作业提交
1、下载测试文件 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt 2、将文件上传至hdfs  hdfs dfs -put LICENSE-2.0.txt /user/flink 3、提交作业 使用以下命令将Flink程序提交到YARN群集: ./bin/flink 该命令将显示如下的...
Flink On Yarn的奇怪问题
执行yarn-session.sh后,分配taskmanager不起作用: 无论分配多少taskmanager,并行度设置得少,只在一个host上运行,但是每次的host不一定相同; 并行度设置得多,才在不同的host上运行。 比如:-n 3,-s 4,照理说并行度-p 6就应该在2个taskmanager上运行了,但是直到-p 20+才在第二个taskmanager上运行,说明-n 3,-...
Flink on Yarn的两种运行方式
Flink on Yarn的两种运行方式 第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】 •启动一个一直运行的flink集群 •./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d] •附着到一个已存在的flink yarn session •./bin/yarn-session.sh -id applic...
Flink on Yarn启动流程分析
HBase BlockCache知识点铺垫 为后面继续梳理BlockCache的核心内容,在此先铺垫一下相关的知识点: BlockCache接口 BlockType BlockCacheKey, Cacheable键值对 CacheStats BlockCache实现 BlockCache接口 从图中可以看出BlockCache接口关心的内容 oper...
jar 运行后找不到了
把编译的jar文件放到手机上,点击运行后提示安装MIDlet,接着运行,这次完了后手机上就没有jar包了。rn不知道什么回事。
【YARN】Hadoop YARN框架搭建
前提 搭建Hadoop2.7.3 配置 Yarn架构配置 【mapred-site.xml.temple配置】 先重命名为mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>...
flink部署操作-flink on yarn集群安装部署
flink集群安装部署 yarn集群模式   Flink入门及实战-上: http://edu.51cto.com/sd/07245 Flink入门及实战-下: http://edu.51cto.com/sd/5845e   快速开始 在yarn上启动一个一直运行的flink集群 在yarn上运行一个flink job flink yarn session 启动flink ses...
【Flink原理和应用】:Flink的Yarn模式安装部署
一. 快速启动 在YARN上启动一个长时间运行的Flink集群 启动一个带有4个TaskManager的YARN会话(每一个TaskManager分配4GB的堆内存): # 从Flink下载页下载hadoop2下载包。 # 下载地址为:http://flink.apache.org/downloads.html curl -O <flink_hadoop2_download_url> ...
Apache Hadoop YARN:【Hadoop YARN权威指南】
Apache Hadoop YARN:Moving beyond MapReduce and Batch Processing with Apach 2 【yarn权威指南】
hadoop yarn
学习hadoop yarn的经典材料之一,很不错。mobi版本很清晰,可以在kindle上看
运行jar出错
各位大虾,我遇到一个问题,用d:\java test.datadb语句时好使,能够正常运行,rn随后我用d:\jar cvfm test.jar aa.mf test一切正常(aa.mf内容 Main-Class: mydata.datadbrn并且放在d:\)rn可是在我运行d:\java -jar test.jar出现如下错误rnException in thread "main" java.lang.NoClassDefFoundError: oracle/jdbc/OracleDrirnverrn at mydata.datadb.doSht(datadb.java:41)rn at mydata.datadb.(datadb.java:30)rn at mydata.datadb.main(datadb.java:337)rn为什么?想不同,根据提示数据库连不上了,可是我d:\java test.datadb语句怎么能运行可以连上数据库,谢谢各位的赐教
运行Hadoop jar 第三方jar包依赖
将自己编写的MapReduce程序打包成jar后,在运行 hadoop jar 命令时,如果要依赖第三方jar包,提示 ClassNotFoundException .... 解决方法: 1.新建一个lib文件夹,将需要依赖的第三方jar包放到lib文件夹中; 2.将MapReduce程序打包后的jar包(如:jmdata-operatives-mrs-access.jar)用W...
cmd运行jar报的错
制作了一个jar包,遇到一个奇怪的问题,打好的jar包使用命令java -jar test.jar或test.jar或双击,可以正确运行,但是在cmd中用java test.jar运行,提示下面的错误: rnC:\Users\Administrator>D:\work\temp\classes\java test.jar rnException in thread "main" java.lang.NoClassDefFoundError: D:\work\temp\classes\test/jar rnCaused by: java.lang.ClassNotFoundException: D:\work\temp\classes\test.jar rn at java.net.URLClassLoader$1.run(Unknown Source) rn &n..rnrn这是为什么呢?谢谢!
提交Flink的jar包到Yarn上,web界面log报错
在hadoop环境下运行flink的batch程序: ./flink run /home/hadoop/proj/wordcount.jar --input hdfs://mycluster/flinkProjectData/111.txt 一段时间后,flink的web界面上,taskmanager和jobmanager下的logs分别出现error: taskmanager: ER...
Hadoop使用jar运行实例
一、.在eclipse中使用编写程序,然后打成jar包, 程序代码: package tju.chc; import java.io.File; import java.io.IOException; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop
hadoop运行出错
rn[hadoop@Master hadoop]$ bin/hadoop jar wikipedia-miner-hadoop.jar org.wikipedia.miner.extraction.DumpExtractor input/enwiki-20130503-pages-articles.xml input/languages.xml en input/en-sent.bin outputrn13/11/01 15:20:37 INFO extraction.DumpExtractor: Extracting site inforn13/11/01 15:20:37 INFO extraction.DumpExtractor: Starting page steprn13/11/01 15:20:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.rn13/11/01 15:20:37 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).rn13/11/01 15:20:37 INFO mapred.FileInputFormat: Total input paths to process : 1rn13/11/01 15:20:38 INFO mapred.JobClient: Running job: job_201311011519_0001rn13/11/01 15:20:39 INFO mapred.JobClient: map 0% reduce 0%rn13/11/01 15:20:48 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000654_0, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:20:48 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_0&filter=stdoutrn13/11/01 15:20:48 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_0&filter=stderrrn13/11/01 15:20:54 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000654_1, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:20:54 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_1&filter=stdoutrn13/11/01 15:20:54 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_1&filter=stderrrn13/11/01 15:21:00 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000654_2, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:21:00 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_2&filter=stdoutrn13/11/01 15:21:00 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000654_2&filter=stderrrn13/11/01 15:21:12 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000653_0, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:21:12 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_0&filter=stdoutrn13/11/01 15:21:12 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_0&filter=stderrrn13/11/01 15:21:17 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000653_1, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:21:17 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_1&filter=stdoutrn13/11/01 15:21:17 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_1&filter=stderrrn13/11/01 15:21:23 INFO mapred.JobClient: Task Id : attempt_201311011519_0001_m_000653_2, Status : FAILEDrnjava.io.IOException: Task process exit with nonzero status of 1.rn at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)rnrn13/11/01 15:21:23 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_2&filter=stdoutrn13/11/01 15:21:23 WARN mapred.JobClient: Error reading task outputhttp://Master.Hadoop:50060/tasklog?plaintext=true&taskid=attempt_201311011519_0001_m_000653_2&filter=stderrrn13/11/01 15:21:29 INFO mapred.JobClient: Job complete: job_201311011519_0001rn13/11/01 15:21:29 INFO mapred.JobClient: Counters: 0rnException in thread "main" java.io.IOException: Job failed!rn at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)rn at org.wikipedia.miner.extraction.PageStep.run(Unknown Source)rn at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)rn at org.wikipedia.miner.extraction.DumpExtractor.run(Unknown Source)rn at org.wikipedia.miner.extraction.DumpExtractor.main(Unknown Source)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)rn at java.lang.reflect.Method.invoke(Method.java:597)rn at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Hadoop 同时启动HDFS、YARN出错
n```n liuye@liuye-VirtualBox:~$ start-all.shnThis script is Deprecated. Instead use start-dfs.sh and start-yarn.shn/usr/local/hadoop/bin/hdfs: 行 276: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录nStarting namenodes on []nliuye@localhost's password: nlocalhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-liuye-namenode-liuye-VirtualBox.outnlocalhost: /usr/local/hadoop/bin/hdfs: 行 276: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录nliuye@localhost's password: nlocalhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-liuye-datanode-liuye-VirtualBox.outnlocalhost: /usr/local/hadoop/bin/hdfs: 行 276: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录n/usr/local/hadoop/bin/hdfs: 行 276: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录nstarting yarn daemonsnstarting resourcemanager, logging to /usr/local/hadoop/logs/yarn-liuye-resourcemanager-liuye-VirtualBox.outn/usr/local/hadoop/bin/yarn: 行 284: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录nliuye@localhost's password: nlocalhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-liuye-nodemanager-liuye-VirtualBox.outnlocalhost: /usr/local/hadoop/bin/yarn: 行 284: /usr/lib/jvm/java-7-openjdk-amd64/bin/java: 没有那个文件或目录nliuye@liuye-VirtualBox:~$ n```nnnnn
Flink Yarn 模式高可用性配置
Flink 版本1.7.2 目录 YARN群集高可用性 配置: 在运行高可用性YARN群集时,我们不会运行多个JobManager(ApplicationMaster)实例,而只会运行一个,由YARN在失败时重新启动。确切的行为取决于您使用的特定YARN版本。 配置: 最大 Application Master 尝试数量 (yarn-site.xml) 您必须配置为尝试appl...
Flink on Yarn的两种模式及HA
Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多。那么使用on yarn模式到底好在哪呢?首先,在集群运行时,可能会有很多的集群实例包括MapReduce、Spark、Flink等等,那么如果它们全基于on Yarn就可以完成资源分配,减少单个实例集群的维护,提高...
Flink on Yarn启动流程分析-1
总体架构: 源码分析要点: 1.客户端执行启动脚本; 2.启动AppMaster; 3.启动Resource Manager & JobManager; 4.启动Node Manager & TaskManager; 5.集群启动完毕后与客户端的交互。 今天先分析第一部分 ------------------------------------1.客户端执行...
Flink 通过yarn模式启动报错
报错:Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.Class...
linux运行jar找不到类
Class-Path后面写linux里jar的绝对地址,这里不写的话也可以添加这个路径到/etc/profile里 不过这里会覆盖/etc/profile配置
Flink提交任务至yarn
在flink on yarn模式中,flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。 2.每个job提供一个yarn-session     每次提交都会创建一个新的flink集群,任务之间互相独立,互不影...
Eclipse 下以yarn方式运行Hadoop
1,在工程src目录下加入mapred-site.xml和yarn-site.xml 2,在main方法中添加一个conf的配置参数 conf.set("mapreduce.jar","wc.jar") 注意:wc.jar--自定义jar包名称 3,执行maven install把工程打成jar包 4,在target目录下找到jar包,右键,build path->add to bui
伪分布式(yarn)运行Hadoop案例(二)
YARN 上运行 MapReduce 程序 1  首先配置yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 2 配置 yarn-site.xml   <!-- reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-servi...
在hadoop yarn上运行spark报错
hduser@master:/usr/local/hadoop/etc/hadoopHADOOPCONFDIR=/usr/local/hadoop/etc/hadoop/pyspark–masteryarn–deploy−modeclientPython2.7.14|Anaconda,Inc.|(default,Dec72017,17:05:42)[GCC7.2.0]onlinux2Type“he...
运行出错?找不到文件?
n 显示运行出错n ![图片说明](https://img-ask.csdn.net/upload/201512/04/1449234215_743957.png)n```npackage cn.iast.dom4j;nnimport java.io.Reader;nimport java.util.List;nnimport org.dom4j.Document;nimport org.dom4j.DocumentException;nimport org.dom4j.Element;nimport org.dom4j.io.SAXReader;nnpublic class dom4j n public static void main(String[] args) n n try n run1();n catch (Exception e) n // TODO Auto-generated catch blockn e.printStackTrace();n n n n public static void run1() throws Exceptionn n SAXReader reader = new SAXReader();n n n Document document = reader.read("src/book2.xml");n Element root = document.getRootElement();n List books = root.elements("书");n Element book2 = books.get(1);n Element author2 = book2.element("作者");n System.out.println(author2.getText());n n n```nn
使用YARN启动hadoop运行MapReduce程序
修改yarn-env文件 2. 修改yarn-env文件 3. 配置mapred-env文件 4. 重命名和修改mapred-site.xml.template为mapred-site.xml 保证NameNode和DataNode已经正常启动 启动ResourceManager ./sbin/yarn-daemon.sh start resourcemanager 启动...
hadoop本地任务运行过程报临时文件找不到问题排查
10个节点的Hadoop集群在使用mahout做大量的数据分析一段时间后,开始报如下错误: [2015-12-31 10:07:31,440] [INFO ] pool-5-thread-3 SparseVectorsFromSequenceFiles - Maximum n-gram size is: 1 [2015-12-31 10:07:31,440] [INFO ] pool-5-thr
hadoop命令报找不到主机错误
fawefwffffffffffffffffffff 惠州
Hadoop yarn 入门知识
1、yarn是一个集群资源管理系统:拥有一个集群一个的资源管理器和运行在集群中的所有节点上的节点管理器来启动和监控容器。 容器使用受限的资源集(内存、CPU等)执行特定于应用程序的流程。 2、管理过程: 要在yarn上运行应用程序,客户端会联系资源管理器,并要求它运行一个应用程序主进程(图4-2中的步骤1)。资源管理器会找到一个节点管理器,它可以在容器中启动应用程序主(步骤2a和2b)...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数