cuiquanzhi 2015-12-07 00:56 采纳率: 100%
浏览 2500
已采纳

oozie shell action 执行hql 执行的mr是本地模式

各位大神，不知道你们是否有使用过oozie调用shell action ，shell中执行的是hive -e “$hql” ,遇到了一个问题
，hive生成的mr都是本地的job。不值到哪位大神遇到过。帮忙给点参考意见啊。

  • 写回答

1条回答 默认 最新

  • cuiquanzhi 2015-12-07 06:49
    关注

    添加环境变量HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/hive/conf(后面是hive配置信息路径)

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • 使用hue集成oozie 运行 shell 脚本 完成度为95% 状态持续为running
    2018-10-23 06:47
    回答 1 已采纳 https://blog.csdn.net/lujisen/article/details/79086716
  • oozie定时循环调度spark任务
    2016-07-22 07:45
    回答 2 已采纳 刚写了一个测试程序试了一下，循环调度一个shell 。 shell中 只有一个 sleep 42332423s 当次shell 未完成，下次循环不会去执行shell，该shell的状态是 r
  • Oozie求救！！报错 Error putting entity null to TimelineServer org.apache.hadoop.yarn.exceptions.YarnException: Incomplete entity without entity id/type java
    2020-09-22 11:00
    回答 4 已采纳 没解决，后来发现这个报错不影响正常的工作调度，就没管了去年年初就弃用oozie了，实在太坑了
  • OOZIE使用问题
    2019-04-12 15:08
    Mrgray的博客 Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_15...
  • Beat
    2017-11-27 02:28
    回答 1 已采纳 http://blog.csdn.net/u010372095/article/details/41849705
  • Oozie简介和运行实例
    2019-08-26 09:56
    少年阿峣_从零单排的博客 一、oozie简介 Oozie是一个管理 Apache Hadoop 作业的工作流调度系统。 官网连接：http://oozie.apache.org/ 1、安装： 一是源生的，需要自己编译；（本文暂时不介绍具体的安装步骤，可以参考...
  • oozie调度sqoop踩坑之路（hue配置）
    2018-08-27 23:36
    深寒色的猫丶的博客 通过oozie来调度管理sqoop数据抽取流程，一般有两种方法：一是直接使用oozie的sqoop-action，二是将sqoop语句写在shell脚本中，通过shell-action来调度。经过测试，sqoop-action实在是坑多，故采用坑相对较少的shell...
  • Oozie原理篇
    2019-05-13 16:32
    听挽风讲大数据的博客 （1）目前计算框架和作业类型繁多：MapReduce Java、Streaming、HQL、Pig等。 （2）如何对这些框架和作业进行统一管理和调度：       ① 不同作业之间存在依赖关系（DAG：有向无环图...
  • Oozie作业调度 - Demo
    2018-04-24 17:49
    Python社区的博客 协调器作业：按时间频率周期性触发Oozie工作流的作业3.Bundle作业：管理协调器作业一、首先示例提交HiveSQL脚本-即时执行1.进入到hue界面，点击【Query】-【Schedule】-【WorkFlow】，编辑工...
  • oozie
    2018-02-08 16:35
    Vanessa_wanglu的博客  方法1：定义shell脚本   $ bin/hdfs dfs -put /user/local/nginx/datalog/access.log /nginx  方法2： 使用日志采集框架flume   2.数据清洗：  etl ： MapReduce任务  3.需求分析：
  • oozie的任务调度
    2019-10-21 09:34
    尬聊码农的博客 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，它内部定义了三种作业：1. 工作流作业：由一系列动作构成的有向无环图（DAGs）2. 协调器作业：按时间频率周期性触发Oozie工作流的作业...
  • cdh5版本中的oozie hive action使用及踩坑集锦
    2017-07-26 15:23
    xiao_jun_0820的博客 然后我可以在接口层面做很多定制的功能，于是开始找hive restful接口相关的信息，发现Hive有个webhcat服务，可以提交hive ql然后还可以将输出写入到指定的HDFS目录上，而且还有callback功能，在执行完成后给指定URL...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥30 Matlab打开默认名称带有/的光谱数据
  • ¥50 easyExcel模板 动态单元格合并列
  • ¥15 res.rows如何取值使用
  • ¥15 在odoo17开发环境中，怎么实现库存管理系统，或独立模块设计与AGV小车对接？开发方面应如何设计和开发？请详细解释MES或WMS在与AGV小车对接时需完成的设计和开发
  • ¥15 CSP算法实现EEG特征提取，哪一步错了？
  • ¥15 游戏盾如何溯源服务器真实ip?需要30个字。后面的字是凑数的
  • ¥15 vue3前端取消收藏的不会引用collectId
  • ¥15 delphi7 HMAC_SHA256方式加密
  • ¥15 关于#qt#的问题：我想实现qcustomplot完成坐标轴
  • ¥15 下列c语言代码为何输出了多余的空格