最近搭建大数据框架,离线计算部分想用OOZIE作为任务调度。
我的大数据框架hadoop的MapReduce执行在tez上。
在执行OOZIE自带的example时候,如果在hadoop的任务用原生的MapReduce执行,也就是当配置文件mapred-site.xml中mapreduce.framework.name设定为yarn时候,OOZIE执行例子都没有问题,都能成功。
但是当把任务放在tez上执行时,也就是把mapred-site.xml中mapreduce.framework.name设定为yarn-tez时候,执行hadoop的任务,比如跑个原生的wordcount例子,会显示执行引擎是tez并执行成功。如果执行OOZIE例子,就会失败,
出现错误:JA009: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
把mapreduce.framework.name改回yarn后,再执行OOZIE例子,还是会成功。
网上有用oozie处理hive作业时使用Tez引擎的例子,但是请问所有的任务,不仅仅是
Hive任务用Tez引擎,应该如何做到OOZIE所有任务都和Tez兼容???或者是OOZIE
所有任务这种情况无法和Tze引擎兼容?如果不能兼容请说明原因·······万分感谢!!
OOZIE与Tez执行兼容问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
悬赏问题
- ¥100 Jenkins自动化部署—悬赏100元
- ¥15 关于#python#的问题:求帮写python代码
- ¥20 MATLAB画图图形出现上下震荡的线条
- ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
- ¥15 perl MISA分析p3_in脚本出错
- ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
- ¥15 ubuntu虚拟机打包apk错误
- ¥199 rust编程架构设计的方案 有偿
- ¥15 回答4f系统的像差计算
- ¥15 java如何提取出pdf里的文字?