cuiquanzhi 2015-12-07 00:56 采纳率: 100%
浏览 2500
已采纳

oozie shell action 执行hql 执行的mr是本地模式

各位大神，不知道你们是否有使用过oozie调用shell action ，shell中执行的是hive -e “$hql” ,遇到了一个问题
，hive生成的mr都是本地的job。不值到哪位大神遇到过。帮忙给点参考意见啊。

  • 写回答

1条回答 默认 最新

  • cuiquanzhi 2015-12-07 06:49
    关注

    添加环境变量HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/hive/conf(后面是hive配置信息路径)

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • Oozie简介和运行实例
    2019-08-26 09:56
    少年阿峣_从零单排的博客 一、oozie简介 Oozie是一个管理 Apache Hadoop 作业的工作流调度系统。 官网连接：http://oozie.apache.org/ 1、安装： 一是源生的，需要自己编译；（本文暂时不介绍具体的安装步骤，可以参考...
  • OOZIE使用问题
    2019-04-12 15:08
    Mrgray的博客 Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_15...
  • oozie调度sqoop踩坑之路（hue配置）
    2018-08-27 23:36
    深寒色的猫丶的博客 通过oozie来调度管理sqoop数据抽取流程，一般有两种方法：一是直接使用oozie的sqoop-action，二是将sqoop语句写在shell脚本中，通过shell-action来调度。经过测试，sqoop-action实在是坑多，故采用坑相对较少的shell...
  • cdh5版本中的oozie hive action使用及踩坑集锦
    2017-07-26 15:23
    xiao_jun_0820的博客 然后我可以在接口层面做很多定制的功能，于是开始找hive restful接口相关的信息，发现Hive有个webhcat服务，可以提交hive ql然后还可以将输出写入到指定的HDFS目录上，而且还有callback功能，在执行完成后给指定URL...
  • Oozie原理篇
    2019-05-13 16:32
    听挽风讲大数据的博客 （1）目前计算框架和作业类型繁多：MapReduce Java、Streaming、HQL、Pig等。 （2）如何对这些框架和作业进行统一管理和调度：       ① 不同作业之间存在依赖关系（DAG：有向无环图...
  • Oozie作业调度 - Demo
    2018-04-24 17:49
    Python社区的博客 协调器作业：按时间频率周期性触发Oozie工作流的作业3.Bundle作业：管理协调器作业一、首先示例提交HiveSQL脚本-即时执行1.进入到hue界面，点击【Query】-【Schedule】-【WorkFlow】，编辑工...
  • oozie
    2018-02-08 16:35
    Vanessa_wanglu的博客  方法1：定义shell脚本   $ bin/hdfs dfs -put /user/local/nginx/datalog/access.log /nginx  方法2： 使用日志采集框架flume   2.数据清洗：  etl ： MapReduce任务  3.需求分析：
  • oozie的任务调度
    2019-10-21 09:34
    尬聊码农的博客 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，它内部定义了三种作业：1. 工作流作业：由一系列动作构成的有向无环图（DAGs）2. 协调器作业：按时间频率周期性触发Oozie工作流的作业...
  • OOZIE
    2015-02-05 15:12
    greahuang的博客 oozie
  • Hadoop笔记之十二——oozie安装及实例
    2018-11-02 14:20
    JAVA技术分享官-乐乐的博客 一、oozie安装 1、安装mysql数据库（root用户） # service mysql stop # rpm -qa|grep -i mysql # rpm -e MySQL-server-5.6.24-1.el6.x86_64 # rpm -e MySQL-client-5.6.24-1.el6.x86_64 # mv /var/lib/mysql/ /...
  • 没有解决我的问题, 去提问