oozie调用sqoop import任务,出现异常 5C

oozie4.3.1 sqoop1.4.7
workflow.xml



<workflow-app xmlns="uri:oozie:workflow:0.5" name="sqoop-import-wf">
    <start to="sqoop-node"/>
    <action name="sqoop-node">
        <sqoop xmlns="uri:oozie:sqoop-action:0.3">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
        <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>${queueName}</value>
                </property>
                <property>
                  <name>oozie.sqoop.log.level</name>
                  <value>WARN</value>
                </property>           
            </configuration>
        <command>import --connect jdbc:mysql://study:3306/test --username root --password 123456 --table terminal_info --where "update_time between 20180615230000 and 20180616225959" --target-dir "/user/hive/warehouse/temp_terminal_info" --append --fields-terminated-by "," --lines-terminated-by "\n" --num-mappers 1 --direct</command>
    </sqoop>
        <ok to="end"/>
        <error to="fail"/>
    </action>

    <kill name="fail">
        <message>Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

oozie job log
2018-06-19 10:12:10,615 WARN SqoopActionExecutor:523 - SERVER[study] USER[root] GROUP[-] TOKEN[] APP[sqoop-import-wf] JOB[0000017-180619092621453-oozie-root-W] ACTION[0000017-180619092621453-oozie-root-W@sqoop-node] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

mapreduce job 执行成功了

 Job Name:  oozie:launcher:T=sqoop:W=sqoop-import-wf:A=sqoop-node:ID=0000017-180619092621453-oozie-root-W
User Name:  root
Queue:  root.root
State:  SUCCEEDED
Uberized:   true
Submitted:  Tue Jun 19 10:11:59 CST 2018
Started:    Tue Jun 19 10:12:07 CST 2018
Finished:   Tue Jun 19 10:12:08 CST 2018
Elapsed:    1sec
Diagnostics:    
Average Map Time    1sec 

但是oozie 出现了 Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
也没有其他的日志,请问有碰到这样问题的朋友吗
或者怎么去排查这个问题
求大神帮忙

3个回答

qq_39315990
qq_39315990 感觉不是这个问题。有其他解决方法吗
一年多之前 回复

楼主你这个问题解决了吗?我的和你一样。执行任务执行完成了,但是就是在laucher退出的时候一直失败
不知道什么原因

我的问题解决了:折腾了这么久,自己的一点心得吧希望能帮到你:
(1)看你上个问题说一直卡着不动一方面是调度方式的选择问题,一方面是集群当中资源的问题。
(2)你这个问题你先查看你的yarn的资源够不够。然后在查看sqoop的shell当中的语句有没有错误的地方导致laucher退出。
我的是因为shell脚本当中的for循环写的有问题导致的。至于其他的问题你可以在yarn的资源管理器当中查看报错的信息,、
看能不能找到相应的错误。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问