戰士 2018-06-28 01:45 采纳率: 0%
浏览 1225
已结题

OOZIE与Tez执行兼容问题

最近搭建大数据框架,离线计算部分想用OOZIE作为任务调度。
我的大数据框架hadoop的MapReduce执行在tez上。
在执行OOZIE自带的example时候,如果在hadoop的任务用原生的MapReduce执行,也就是当配置文件mapred-site.xml中mapreduce.framework.name设定为yarn时候,OOZIE执行例子都没有问题,都能成功。
但是当把任务放在tez上执行时,也就是把mapred-site.xml中mapreduce.framework.name设定为yarn-tez时候,执行hadoop的任务,比如跑个原生的wordcount例子,会显示执行引擎是tez并执行成功。如果执行OOZIE例子,就会失败,
出现错误:JA009: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
把mapreduce.framework.name改回yarn后,再执行OOZIE例子,还是会成功。
网上有用oozie处理hive作业时使用Tez引擎的例子,但是请问所有的任务,不仅仅是
Hive任务用Tez引擎,应该如何做到OOZIE所有任务都和Tez兼容???或者是OOZIE
所有任务这种情况无法和Tze引擎兼容?如果不能兼容请说明原因·······万分感谢!!

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2018-06-29 15:48
    关注
    评论

报告相同问题?

悬赏问题

  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字?