OOZIE与Tez执行兼容问题 10C

最近搭建大数据框架,离线计算部分想用OOZIE作为任务调度。
我的大数据框架hadoop的MapReduce执行在tez上。
在执行OOZIE自带的example时候,如果在hadoop的任务用原生的MapReduce执行,也就是当配置文件mapred-site.xml中mapreduce.framework.name设定为yarn时候,OOZIE执行例子都没有问题,都能成功。
但是当把任务放在tez上执行时,也就是把mapred-site.xml中mapreduce.framework.name设定为yarn-tez时候,执行hadoop的任务,比如跑个原生的wordcount例子,会显示执行引擎是tez并执行成功。如果执行OOZIE例子,就会失败,
出现错误:JA009: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
把mapreduce.framework.name改回yarn后,再执行OOZIE例子,还是会成功。
网上有用oozie处理hive作业时使用Tez引擎的例子,但是请问所有的任务,不仅仅是
Hive任务用Tez引擎,应该如何做到OOZIE所有任务都和Tez兼容???或者是OOZIE
所有任务这种情况无法和Tze引擎兼容?如果不能兼容请说明原因·······万分感谢!!

0

1个回答

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
大数据(十二) - Oozie
基本概念n    目前计算框架和作业类型繁多:n        MapReduce Java、Streaming、HQL、Pig等n    如何对这些框架和作业进行统一管理和调度:n        不同作业之间存在依赖关系(DAG);n        周期性作业n        定时执行的作业n        作业执行状态监控与报警n    多种解决方案:n        Cro
Oozie安装
安装Oozie的过程真的是一把血泪史,太TM反人类了,过程无比艰辛,感觉和Tez的安装一样,过程繁杂且问题频出。n环境:nCentOS6.5 * 3nZooKeeper 3.4.5-cdh5.7.1nHadoop 2.6.0-cdh5.7.1nOozie oozie-4.1.0-cdh5.7.1nnn1.下载oozie-4.1.0-cdh5.7.1.tar.gzn这个包非常大,有
Tez学习笔记 --- Tez与MapReduce原理与分析
Tez学习笔记 --- Tez与MapReduce原理与分析
tez安装
tezn#简介ntez通过允许像Apache Hive和Apache Pig这样的项目运行复杂的任务,Tez可以用来处理数据,这在更早地时候采用了多个MR job,现在可以在一个Tez的执行工作nn#官网nhttp://tez.apache.org/nn#特性n1、表达数据流定义的apin2、灵活的Input-Processor-Output运行时模型n3、数据类型不确定n4、简化的部署n5、在M...
通过yarn timeline server api查询tez任务的运行数据
这里面最坑爹的就是tez记录在timelineserver中的entity_type值:TEZ_DAG_IDntimelineserver并没有接口查询所有的entity_typen这个原因主要是因为timelineserver使用了levelDB作为序列化存储:https://zh.wikipedia.org/wiki/LevelDBn另外参考:ntim...
Oozie调用shell脚本
job.properties的通用配置注:这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.addressworkflow.xml配置执行shell程序* example里的是输出一个字符串,所以exec的value是echon* 如果要调用其他的she
黑猴子的家:Oozie 执行多个Job调度
使用Oozie执行多个Job调度nn1、解压官方案例模板nnn[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -xzvf oozie-examples.tar.gznnn2、编写脚本nnn[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ vim oozie-apps/shell/p2.shn##内容如下n#!/bin/bas...
Oozie——多脚本逻辑顺序执行
楔子rnrnoozie顺序执行sh脚本。rnrn1 描述rnrn依次执行p1.sh 和p2.sh。每个里面都是简单的打印信息。如下rnp1.shrnrn[grq@hadoop102 shell]$ more p1.sh rn#!/bin/bashrnecho ''>/tmp/p1.logrn/sbin/ifconfig>>/
Hive 使用TEZ引擎导致连接Hive SHELL慢的问题
在使用HDP Hadoop版本时,Ambari界面允许选择Hive执行引擎是MapReduce还是TEZ,如下图所示 nnn使用TEZ作为Hive执行引擎来替代MapReduce,可以在很多场景上实现更好的效率提高,然后使用TEZ作为默认引擎也会导致一些问题。最近就碰到这样的场景,客户使用TEZ作为执行引擎,在计算过程中确实比使用默认的MapReduce快很多,但遇到的一个问题是:每次总要花10~...
用oozie命令行的方式在yarn上运行spark任务
1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。n2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。n3.准备一个job.propertie和workflow.xml,内容如下njob.propertiesnnworkflow.xmlnn3.把需要的配置
oozie初步使用之执行MR任务(非hue配置)
背景: n此处介绍oozie简单执行一个MR任务的基本流程,采用的是官网的Example进行测试,job.properties文件是自己手动配置的,jar包 和 workflow.xml 用Example自带的配置!由于自己配置稍微有些麻烦,后面的介绍我会基于 Hue进行可视化配置~nnoozie server version:4.1.0 - CDH5.13.0nnnnnn操作流程nn在Linux...
我的大数据之旅-Oozie执行shell脚本任务
目录nn目标:通过Oozie调度hdfs上的shell脚本nn步骤:nn1.解压Oozie官方案例模板nn2.创建工作目录nn3.拷贝案例模板nn4.创建Shell脚本nn5.修改property文件nn6.修改workflow.xmlnn7.将整个job目录上传HDFSnn8.运行jobnn​nn效果图:nn目标:通过Oozie调度hdfs上的shell脚本nnnn步骤:nn1.解压Oozie...
[Sqoop基础]-- 本地执行sqoop和oozie上执行sqoop命令需要注意
n-------------------------------------------本地sqoop命令,需要修改为'\N'、并且添加sqoop前缀-------------------------------------------n#采购订单nsqoop export --connect jdbc:mysql://192.168.1.109/testtests?characterEncodi...
在Oozie 中调度执行shell、hive 脚本,以及通过shell脚本执行hive/sqoop/shell脚本的方法
oozie 是一个非常不错的页面可视化程序调度器,优点很明显,但缺点也很多,最恶心的是不支持动态的参数,以及使用sqoop时非常麻烦,因此,最好的方法自然是通过oozie调度一个shell调度脚本,由shell脚本再去调度执行其他脚本。这样可以实现动态传参,和统一控制。
oozie(hue配置)执行年任务、月任务、日任务时,coordinators(定时)配置
1、年任务:通常年任务指一年执行一次,那么我们如何设定任务在每年的几月几日执行,这时候需要在主workflow里面配置分支,当在workflow里出现分支时,这时候就会出现decision选项,即满足什么条件的情况下执行相应的分支,如下图点击Convert to Decision出现条件配置如果从need_year参数中获取的值是010(1月1日),则执行年任务(每年的1月3日执行),如果不是则跳...
oozie框架案例之多Action执行
oozie配置调度HDFS 多action顺序执行rn1.拷贝shell的配置目录rn${OOZIE_HOME}/rn$ cp -r oozie-apps/shell  oozie-apps/hdfsrnrnrn2.修改job.propertiesrnnameNode=hdfs://[hostname]:8020rnjobTracker=[hostname]:8032rnqueueName=def
关于oozie调用shell的一个例子
完成的功能,执行t.sh,并且通过workflow像t.sh传递参数rnrnworkflow.xmlrnrn[code="java"]rnrn rn rn rn ${jobTracker}rn ${nameNode}rn rn rn map...
踩坑——Oozie提交的任务已经执行,但是结果没有输出,因为参数没加{}
这个问题太尴尬noozie的11000界面的显示任务已经完成nyarn8088界面也显示任务已经执行完n但是结果却没有写出来nn原因是我在 workflow.xml 中写 job.properties 传入的参数时,没有写参数两边的大括号。例如 原本的 ${outputdir} 写成了 $outputdirnoozie的参数应用一定要加 {}noozie的参数应用一定要加 {}noozie的参数...
oozie调度shell脚本总结(生产)
1、shell脚本调度前,需要验证是否能运行成功 n2、shell脚本必须指定source /etc/profile n3、在hue中对参数timeout设置为-1,保证action(动作)不会重复执行 n4、在hue中对参数throttle设置为60,保证任务可以处于等待状态 n5、对参数进行调整 n      参考: n      http://blog.csdn.net/weixin_3947
Apache Oozie 的执行模型理解
Oozie的执行模型是什么?Oozie是怎样把作业提交给Hadoop集群执行的?n一,执行模型nnnOozie通过一个“launcher job”来运行 action,比如通过Oozie的命令行来发起作业:首先,Oozie命令行作为一个客户端向Oozie Server 提交作业,Oozie Server得到作业之后,并不是在它所在的机器上发起Pig或Hive等具体的执行操作,而是在Hado
hue中使用oozie的workflow执行mr
hue中使用oozie的workflow执行mr
HUE通过oozie工作流执行shell脚本
首先上传对应的jar包和storm.sh脚本到hdfs,脚本内容如下:脚本主要内容是:从hdfs下载jar包,然后利用storm jar ..命令提交storm任务,详细内容查看附件最后,点击保存,提交命令。stormui和yarn上都可以看到已经提交的任务。注意:提交任务user需要对操作的路径有权限。
cdh版hue+oozie调度,workflow之shell脚本执行以及日志查看
1、首先准备两个脚本ntest1.shn#!/bin/shnecho "param1=$1"nntest2.shn#!/bin/bashnsh ./test1.sh $1nnsh test1.sh 2018-11-20 执行结果为:nn2、将脚本上传到hdfsnhdfs dfs -mkdir /testnhdfs dfs -put test1.sh test2.sh /testnn3、hue上...
用Hue中的Oozie执行Impala Sheel脚本
在Oozie中不能像执行hive SQL那样直接执行impala SQL脚本。目前没有Impala操作,因此你必须使用调用impala-shell的shell操作。调用impala-shell的shell脚本中还必须包含设置PYTHON EGGS位置的环境变量。这是一个shell脚本(impala_overwrite.sh)示例: export PYTHON_EGG_CACHE=./myeggs ...
oozie + hue 执行 SQL脚本、SQL 脚本中传入参数 ${partdt} 的使用
=================oozie + hue 执行 SQL脚本 =====================nnn1.三种方式把 结构化数据的文件 存到 数据库表中:方式一 和 方式二 作用相同n 1.方式一:把 linux的结构化数据的文件 存到 hdfs文件系统目录下的某表中n 格式:LOAD DATA local INPATH ...
oozie任务失败后如何重新运行
背景nnspark处理的原始日志路径修改了,导致原有的报表处理的源数据找不到路径nn需要重新启动oozie任务,并把过去几天丢失的数据补回来nn nn# 第一个参数是每个模块的文件夹名nnsh -x start_oozie_module.sh detail_report 2019-01-10T15:00 2111-01-01T00:00nn今天是14号,从20190110 14:00之后的数据都需...
oozie错误:job一直在running或者SUSPENDED,但是就是不执行。任务单独执行是可以的。
1.问题描述nn一个简单的mapreduce的wordcount任务,单独使用yarn调用时没有任何问题,可以跑出来。但是,放入yarn的时候,就会出现问题。一直时Running的状态,而且hadoop对应目录下也没有输出结果的目录,很是头痛。nnnn nn2.原因:nn经过百般查找和无限次尝试,发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Ha...
Oozie原理
前言: n 在工作中,可能需要好几个Hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理。 n 我们不可能就盯着程序,等它运行完再去运行下一个程序,所以,一般的做法就是通过shell来做,但是如果涉及到的工作流很复杂(比方说有1,2,3,4四个作业,1的输出作为2 3 4的输入,然后2 3的结果运算之后再和1的结果进...
利用oozie来运行Hadoop的MapReduce程序
1、创建“workflow.xml”
Oozie使用java启动外部包
rn在Oozie的workflow上面调用jar包,可以有两种方式,rn一种是使用shell来调用:rn<action name="user_action_info_q_node">rn <shell xmlns="uri:oozie:shell-action:0.2">rn <job-tracker>${jobtracker...
Hue中使用Oozie的workflow执行MR过程
Hue中使用Oozie的workflow执行wordcount的MR过程n写在前面:研究所里搭建了一套CDH5.9版本的hadoop集群,以前一直使用命令行去操作,这几天尝试Hue中使用Oozie的Workflows去执行MR程序,发现踩了好多坑(以前没使用过,也没找到相应的教程,如果有知道的好的教程不妨留下不甚感激)。
HDP 3.1.0 HIVE使用tez 长时间无反应 成功解决
目录解决问题解决方法支持rn解决问题rnHDP 3.0.0 安装的HIVE使用tez,执行任务需要用到tez session时会找不到rn解决方法rn在打开后增加以下设置rnset hive.server2.tez.initialize.default.sessions=true;rnrn如需一直生效,在hive的配置文件hive-site.xml中添加rn<property>rn &
OOZIE系统成功【2】跑通定时调度的…
【要点】OOZIE跑spark程序会遇到这么一个奇葩的现象:在oozie查job的info,显示SUCCEEDED。去8088端口的yarn那儿查,也显示SUCCEEDED。然后进hdfs看看生成的结果——啥文件都没有。这是什么情况!n【原因】编写workflow.xml文件的时候,生成目的地的地址,一定要在最后加斜杠。n如果输出结果要放到 /usr/oozie/output中的spark文件夹里
Oozie启动job状态SUSPENDED报错Inv…
从已经成功连接的机子考过来的一个编译得比较靠谱的oozie 4.3.0,运行一个样例程序,结果报错:nn2017-02-23 18:57:48,667n WARN ActionStartXCommand:523 - SERVER[bigmaster]nUSER[hadoop] GROUP[-] TOKEN[] APP[SparkFileCopy]nJOB[0000000-1702231857125
oozie在执行coordinator job的时候,一直处于waiting状态
问题: oozie在执行coordinator job的时候,一直处于waiting状态 n解决方式: n1.oozie在执行coordinator job的时候,会初始化标签中的参数, n首先查看是不是url路径配置错误。 n2.查看日志: n1)oozie job -oozie http://localhost:11000/oozie -log 0000047-180528113614146-...
Spark读取Hive on Tez任务问题
Spark读取Hive on Tez任务问题n参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续,由于HDP集群调整Hive引擎为Tez后,出现的问题。具体问题如下:n19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法
Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法n问题n有这样一个问题是很常见的:如果我们的Hive使用默认使用Tez作为执行引擎,当我们使用IDE通过Hive JDBC连接时,会出现在一个很“有趣”的想象:即如果我们不断开这个JDBC连接,则在Yarn上会持续有有一个Tez的AM容器持续存在,只有当端开JDBC连接时,这个容器才会被释放。关于Tez在Yarn的资源布局,可参考这篇...
hue中调度oozie总是显示heart beat
错误日志如下:nnnn这是资源不足的问题,调整yarn的如下参数:nnyarn.nodemanager.resource.cpu-vcoresnn#最大容器内存nnyarn.scheduler.maximum-allocation-mbnn nn调整后重启yarn即可。nn ...
hive on tez hive运行在tez之上 安装测试
rnrnhive on tez详细配置和运行测试rnrnrnrntez hadoop hive hdfs yarnrnn环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式:rnn在hadoop中配置rn在hive中配置rnnrn比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置...
(三)oozie官方案例map-reduce运行
oozie安装成功后,接下来运行一个官方的mapreduce案例,参考官网: nhttp://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_Examples.html1、解压oozie-example到oozie根目录Expanding this file will create an examples/ directory in t
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据tez视频教程 nlp执行师教程