oozie调用shell中的问题

大家好,我使用oozie调用shell 。调用简单的shell是已经成功了,比如在shell中
创建hdfs目录,但是我现在shell中,需要调用一个用scala写的jar包,内容如下:
nohup /apps/scala-2.10.5/bin/scala /opt/oozie-work/jars/STBLogProduct7.jar hdfs://bigdata1:8020 /user/root/mytest/stblog/ >> /opt/oozie-work/logs/producelog.log 2>&1 &这样调用时不成功的。
我的问题是当使用oozie调用shell,shell又调用别的jar,这个jar包应该放到hdfs还是本地目录,shell的执行是在本地文件系统吗?那么怎么找得到我的jar包呢?

0

1个回答

1
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Oozie调用shell脚本
job.properties的通用配置注:这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.addressworkflow.xml配置执行shell程序* example里的是输出一个字符串,所以exec的value是echo * 如果要调用其他的she
关于oozie调用shell的一个例子
完成的功能,执行t.sh,并且通过workflow像t.sh传递参数 workflow.xml [code="java"] ${jobTracker} ${nameNode} map...
oozie调度shell脚本总结(生产)
1、shell脚本调度前,需要验证是否能运行成功 2、shell脚本必须指定source /etc/profile 3、在hue中对参数timeout设置为-1,保证action(动作)不会重复执行 4、在hue中对参数throttle设置为60,保证任务可以处于等待状态 5、对参数进行调整       参考:       http://blog.csdn.net/weixin_3947
HUE通过oozie工作流执行shell脚本
首先上传对应的jar包和storm.sh脚本到hdfs,脚本内容如下:脚本主要内容是:从hdfs下载jar包,然后利用storm jar ..命令提交storm任务,详细内容查看附件最后,点击保存,提交命令。stormui和yarn上都可以看到已经提交的任务。注意:提交任务user需要对操作的路径有权限。
在Oozie 中调度执行shell、hive 脚本,以及通过shell脚本执行hive/sqoop/shell脚本的方法
oozie 是一个非常不错的页面可视化程序调度器,优点很明显,但缺点也很多,最恶心的是不支持动态的参数,以及使用sqoop时非常麻烦,因此,最好的方法自然是通过oozie调度一个shell调度脚本,由shell脚本再去调度执行其他脚本。这样可以实现动态传参,和统一控制。
cdh版hue+oozie调度,workflow之shell脚本执行以及日志查看
1、首先准备两个脚本 test1.sh #!/bin/sh echo "param1=$1" test2.sh #!/bin/bash sh ./test1.sh $1 sh test1.sh 2018-11-20 执行结果为: 2、将脚本上传到hdfs hdfs dfs -mkdir /test hdfs dfs -put test1.sh test2.sh /test 3、hue上...
用Hue中的Oozie执行Impala Sheel脚本
在Oozie中不能像执行hive SQL那样直接执行impala SQL脚本。目前没有Impala操作,因此你必须使用调用impala-shell的shell操作。调用impala-shell的shell脚本中还必须包含设置PYTHON EGGS位置的环境变量。这是一个shell脚本(impala_overwrite.sh)示例: export PYTHON_EGG_CACHE=./myeggs ...
hue中生成oozie任务传参(shell任务)
在hue中,oozie任务分为4层: 1.action(可以是hive任务,spark任务,shell脚本等),下图所示就是一个shell任务:  2.workflow,顾名思义,一个workflow就是多个action组成的DAG流:  3.schedule是对workflow的重复调用,你可以一小时执行一次,也可以一天执行一次。 下图的例子就是每天4:25执行一次  4,...
我的大数据之旅-Oozie执行shell脚本任务
目录 目标:通过Oozie调度hdfs上的shell脚本 步骤: 1.解压Oozie官方案例模板 2.创建工作目录 3.拷贝案例模板 4.创建Shell脚本 5.修改property文件 6.修改workflow.xml 7.将整个job目录上传HDFS 8.运行job ​ 效果图: 目标:通过Oozie调度hdfs上的shell脚本 步骤: 1.解压Oozie...
用oozie命令行的方式在yarn上运行spark任务
1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。 2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。 3.准备一个job.propertie和workflow.xml,内容如下 job.properties workflow.xml 3.把需要的配置
[oozie基础]-- 部署spark、hadoop、hive、shell和java程序举例
一、oozie执行shell脚本(执行mr任务,实现合并增量数据) 参考:http://gethue.com/use-the-shell-action-in-oozie/ 1、点击创建、拖动到上面   2、添加命令:bash,当然也可以是linux的其他可执行的命令     3、添加参数:注意---》参数名称是shell脚本的全称(run-mr-compact.sh)    ...
[Sqoop基础]-- 本地执行sqoop和oozie上执行sqoop命令需要注意
-------------------------------------------本地sqoop命令,需要修改为'\N'、并且添加sqoop前缀------------------------------------------- #采购订单 sqoop export --connect jdbc:mysql://192.168.1.109/testtests?characterEncodi...
Oozie workflow工作流action间参数传递实现
假设workflow里有两个action节点,shell和hive,hive需要用到shell节点里的值,shell脚本如下 #!/bin/sh day=`date '+%Y%m%d%H'` echo "day:$day" hive节点需传入day这个参数。需要用到shell节点里这个属性,如下                ${jobTracker}         ${
Hive on oozie以及action间参数传递
背景: 简单介绍下 hive action的使用,以及action间是如何进行参数传递的,这也是进行多job调度必备的操作~ 集群环境:CDH 5.13.0 ,其中oozie版本:4.1.0,hive版本:1.1.0 一、Hue配置 Hive action hue上创建hive任务必须添加两个配置项:script 和 hive xml 其中: script 指的是hive ...
Oozie调度使用案例--使用命令行方式
  Oozie调度使用案例 环境准备 CDH5.15.0,hue3.9.0+cdh5.15.0,oozie4.1.0+cdh5.15.0     2.使用案例 (1)在oozie-4.1.0-cdh5.15.0.tar.gz的解压目录中存在一个oozie-examples.tar.gz的tar包 [root@sdw1 software]# tar -xzvf oozie-4.1....
Oozie——多脚本逻辑顺序执行
楔子 oozie顺序执行sh脚本。 1 描述 依次执行p1.sh 和p2.sh。每个里面都是简单的打印信息。如下 p1.sh [grq@hadoop102 shell]$ more p1.sh #!/bin/bash echo ''>/tmp/p1.log /sbin/ifconfig>>/
oozie + hue 执行 SQL脚本、SQL 脚本中传入参数 ${partdt} 的使用
=================oozie + hue 执行 SQL脚本 ===================== 1.三种方式把 结构化数据的文件 存到 数据库表中:方式一 和 方式二 作用相同 1.方式一:把 linux的结构化数据的文件 存到 hdfs文件系统目录下的某表中 格式:LOAD DATA local INPATH ...
黑猴子的家:Oozie 执行多个Job调度
使用Oozie执行多个Job调度 1、解压官方案例模板 [victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -xzvf oozie-examples.tar.gz 2、编写脚本 [victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ vim oozie-apps/shell/p2.sh ##内容如下 #!/bin/bas...
Spark job在hue-oozie中的另一种方式调度
工作中使用的是hue来配置oozie工作流调度及任务中调度关系,spark job的输入是由hive sql产生输出的表,在配置spark job由于一些客观关系出现很多问题导致无法正确的执行,在oozie中支持spark job的及shell job的配置执行 1. 采用spark program组件配置, 目前版本过低无法添加运行时的一些参数 官网http://gethue.com
oozie错误
1、 Cannot run program "en.sh" (in directory "/home/install/hadoop-2.5.0-cdh5.3.6/tmp/nm-local-dir/usercache/hadoop/appcache/application_1523583797725_0010/container_1523583797725_0010_01_000002"):erro...
HUE平台oozie 调度系统设置踩坑记录
通过oozie调用hive和shell脚本都没有问题。shell脚本需要先上传到hdfs 的某个目录下,只要账户对这个目录有读权限就行。Stdoutput Warning: /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports
oozie shell action 例子
提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功
oozie使用中常见问题及解决方法
1.
Oozie部署spark、hadoop、hive、shell和java程序举例
一、oozie执行shell脚本(执行mr任务,实现合并增量数据) 参考:http://gethue.com/use-the-shell-action-in-oozie/ 1、点击创建、拖动到上面   2、添加命令:bash,当然也可以是linux的其他可执行的命令     3、添加参数:注意---》参数名称是shell脚本的全称(run-mr-compact.sh)    ...
Hue-oozie运行spark
本文档是入门文档,详细描述使用Hue编辑workflows提交spark程序。
oozie下使用hive UDF的惨痛教训
问题现象: oozie中跑的一个workflow,hql脚本的导出结果和预期不一致,出错。 漫长的DUBUG之路: 1.首先想到的是通过在Hue中来跑同一个hql脚本,查找问题。通过在oozie的log中找到解析完的hql,跑了下,结果发现和预期一致,头有点儿大。。。 2.经过分析hql,推测可能是和脚本中用到自己之前写的一个UDF有关。于是单独用这个UDF写了一个和问题中涉及业务相同的简
oozie调度sqoop踩坑之路(hue配置)
背景: 通过oozie来调度管理sqoop数据抽取流程,一般有两种方法:一是直接使用oozie的sqoop-action,二是将sqoop语句写在shell脚本中,通过shell-action来调度。经过测试,sqoop-action实在是坑多,故采用坑相对较少的shell-action~ 集群环境:CDH 5.13.0 ,其中oozie版本:4.1.0,sqoop版本:1.4.6 ...
oozie 运行遇到的问题
报错:Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.MapReduceMain], main() threw exception, java.net.URISyntaxException: Expected scheme-specific part at index 5: hdfs: java.lang.Il...
oozie使用中的注意事项及部分问题的解决办法
1.修改本机中hadoop的core-site.xml文件 <!--允许oozie的客户端使用哪个用户来登陆hadoop--> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*&
通过hue提交oozie定时任务
转自:https://www.cnblogs.com/mr-ivan/p/6593550.html Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义当前运行的工作流实例,包括实例的状态和变量 Hue是什么?  Hue是一个可快速开发和调试Hadoop生态
黑猴子的家:Oozie 调度 Shell 脚本
1、解压官方案例模板 [victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -xzvf oozie-examples.tar.gz -C ./ 2、创建工作目录 [victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir oozie-apps/ 3、拷贝任务模板到oozie-apps/目录 [victor@h...
oozie的简单案例
1、fs的action: ================job.properties的内容如下: nameNode=hdfs://hadoop007:9000 jobTracker=hadoop007:8032 queueName=default examplesRoot=fs oozie.wf.application.path=${nameNode}/user/${user
shell脚本调度impala脚本总结
背景:由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度 首先说下impala的交互方式: 使用客户端直接进入impala然后进行sql操作,配好环境后impala-shll即可 使用hue impala-shell -q ‘select。。。’ -i localhost(地址) 若sql比较多可以写成文件后缀名无所谓impala-shell -f file...
编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
开发环境:jdk1.7+idea 16+Hive-1.1.0 使用udf的生产环境:cdh5.8.0+hive-1.1.0 1、导入hive的所有相关jar包 或者使用maven引入CDH相关包: 1 2 3 4 5 6 7 8 9 10 11 12
Oozie的workflow的xml简单例子
workflow.xml workflow-app xmlns="uri:oozie:workflow:0.4" name="job_ods_a_xdr_ps_gn_dns_wf"> start to="CHECK_DATA" /> decision name="CHECK_DATA"> switch> case to="HIVE_PART
hue中使用oozie的workflow执行mr
hue中使用oozie的workflow执行mr
Apache Oozie 的执行模型理解
Oozie的执行模型是什么?Oozie是怎样把作业提交给Hadoop集群执行的? 一,执行模型 Oozie通过一个“launcher job”来运行 action,比如通过Oozie的命令行来发起作业:首先,Oozie命令行作为一个客户端向Oozie Server 提交作业,Oozie Server得到作业之后,并不是在它所在的机器上发起Pig或Hive等具体的执行操作,而是在Hado
Oozie分布式任务的工作流——Sqoop篇
Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL,生成报表信息。 因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。 同样action会等到sqoop执行成功后,才会执行下一个action。为了运行sqoop
JAVA API调用OOZIE作业运行
不废话直接上代码: import java.io.IOException; import java.security.PrivilegedExceptionAction; import java.util.Properties; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Fil
oozie使用常见的bug解决
1、Mysql权限配置     2、workflow.xml配置的时候不要忽略file属性     3、jps查看进程时,注意有没有bootstrap     4、关闭oozie         ** bin/oozied.sh stop)如果无法关闭,则可以使用kill         ** kill -9 11111             oozie-server/temp/xx
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java学习中常见的问题 java学习中遇到的问题