[HIVE]执行HQL的group by操作报Job status not available错误 10C

在公司测试集群上测试hive查询

情况如下:
正常使用查询语句等其他基本语句,没问题,例如

 select * from tablename;// 正常

但是需求中有操作需要分组,需要使用group by操作

 select name from tablename group by name; // 报错

使用java操作和使用beeline操作报同样的错误,执行语句的时候明显感觉到已经执行了,但是最后无法返回结果,报错,完整错误如下

 Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Job status not available 
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:380)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:257)
    at org.apache.hive.service.cli.operation.SQLOperation.access$800(SQLOperation.java:91)
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:348)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754)
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:362)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: Job status not available 
    at org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:331)
    at org.apache.hadoop.mapreduce.Job.getJobState(Job.java:352)
    at org.apache.hadoop.mapred.JobClient$NetworkedJob.getJobState(JobClient.java:300)
    at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:251)
    at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:559)
    at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:424)
    at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:151)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:199)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:100)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2183)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1839)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1526)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1237)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1232)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:255)
    ... 11 more (state=08S01,code=1)
2

2个回答

须配置Job History Server相关参数,让Job Client可以读取job最后的执行状态,测试Hadoop版本2.5.0
添加参数vim mapred-site.xml

mapreduce.jobhistory.address
master.hadoop:10020


yarn.app.mapreduce.am.staging-dir
/tmp/hadoop-yarn/staging


mapreduce.jobhistory.intermediate-done-dir
${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate


mapreduce.jobhistory.done-dir
${yarn.app.mapreduce.am.staging-dir}/history/done

0

你yarn中去看看executor的执行日志,有可能是内存溢出

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Hive执行hql任务时,一直卡在mapreduce提交job处
问题描述: Job Submission failed with exception 'java.net.ConnectException(Call From hadoop102/192.168.161.102 to hadoop103:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more d...
hive高阶1--sql和hive语句执行顺序、explain查看执行计划、group by生成MR
hive语句执行顺序msyql语句执行顺序代码写的顺序:select ... from... where.... group by... having... order by.. 或者 from ... select ... 代码的执行顺序:from... where...group by... having.... select ... order by... hive 语句执行顺序大致
hive相关报错问题解决办法
1.Unable to determine Hadoop version information. 'hadoop version' returned: 解决办法: 修改bin/hive, #    HADOOP_VERSION=$($HADOOP version | awk '{if (NR == 1) {print $2;}}'); HADOOP_VERSION=$($HADOOP v...
Maven java通过jdbc连接Hive 执行HQL语句
lrwxrwxrwx. 1 hadoop hadoop 12 May 14 09:53 hadoop -> hadoop-2.2.0 drwxr-xr-x. 10 hadoop hadoop 4096 May 14 16:45 hadoop-2.2.0  lrwxrwxrwx.  1 hadoop hadoop        15 May 16 15:38 hive -
使用Hive API分析HQL的执行计划、Job数量和表的血缘关系
http://lxw1234.com/archives/2015/09/476.htm
hive中Hql查询时错误
查询时错误  hive> select count(*) from student_info; Query ID = hadoop_20170127022626_4c071a70-f0d0-484a-8e29-dbd875356ef9 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determ
hive 虚拟机下执行 HQL 被killed退出
背景:学习大数据,装了个虚拟机,搭载centos7的迷你,内存分配的512MB hive> select A.name,A.time     > from     > (select name,time,sum(count) from sale group by name, time) A join     > (select name,time,sum(count) from sal
hive报内存不足错误
hive在运行HQL时上报内存不足错误导致contains被kill掉,mapreduce任务失败。导致这个错误是因为mapreduce配置的内存数量太小了。可以在mapred-site.xml中添加 set mapreduce.map.memory.mb=1024;                                                                
hive执行job的时候卡死,执行进度总是0%,然后报错的问题分析和解决
因为跨机房业务需要,在另一个机房部署了一个小型的hadoop集群,其中一个节点为namenode无计算节点datanode,而其它两个节点为datanode节点其中每过节点分配50G的内存,总共100G内存资源;而每台机器都是32核CPU,制定最高使用80% 即26核,配置如下: yarn-site.xml [code="xml"] yarn.nodemanager.reso...
HIVE在命令行里执行HQL
Usage: hive [-hiveconf x=y]* []* [|] [-S]   -i             Initialization Sql from file (executed automatically and silently before any other commands)   -e 'quoted query string'  Sql from comm
Hue 3.8.1在运行SQL时抛出错误
When running SQL statements through Hue against one of our Hadoop clusters running Hortonworks 2.2.4.2-2, we keep getting the following error:   Fetching results ran into the following error(s): Co...
Hive的hql命令的三种执行方式
Hive的hql命令的三种执行方式: 1、CLI 方式直接执行 shell 中键入hive,即可启动hive的cli交互模式 2、作为字符串通过shell调用hive –e执行(-S开启静默,去掉”OK”,”Time taken”) hql作为字符串在shell脚本中执行,如 hive -e "use ${database};select * from tb" ...
hive执行语句oom
新安装HIVE执行语句时可能会出现的错误 GC overhead limit exceeded和Java heap space java参数 set mapreduce.map.java.opts=-Xmx2048m -XX:-UseGCOverheadLimit set mapreduce.reduce.java.opts=-Xmx4096m; set mapreduce.map.me
hive执行hql脚本
需求: 基于hive做hdfs的统计分析 涉及点: 1.基于hive 执行hql脚本: hive -f /home/usr/my.sql 2.基于hive执行hql命令: bin/hive -e "select count(1) from tab;" 3.安静模式执行,不打印mrjob的进度: hive -S -f /home/usr/my.sql 4.执行结果存入一个txt文...
Hive面试题:hql的执行流程
第一步:输入一条HQL查询语句(eg.  select * from tab) 第二步:解析器对这条Hql语句进行语法分析。 第三步:编译器对这条Hql语句生成HQL的执行计划。 第四步:优化器生成最佳的Hql的执行计划。 第五步:执行这条最佳Hql语句。...
Hadoop执行Job时因超时自动kill原因及解决方案
转自:http://snv.iteye.com/blog/1879983 Hadoop执行Job时因超时自动kill,信息如下: Java代码   Task attempt_201305231045_3281_m_000003_0 failed to report status for 600 seconds. Killing!   原因: 1.执行M
Hive是如何将hql语法转换成MR执行的
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能.说白了,hive就是MapReduce客户端,将用户编写的HQL语法转换成MR程序进行执行。那么,hive是如何实现将hql语法转换成Mr的呢? 如图中所示,总的来说,Hive是通过给用户提供的一系列交互接口,接...
hive 执行查询任务失败
报错:replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.解决方案:这是因为有一个datanode掉线了方案1:重启机器,重新开启hadoop集群发现掉线的那个节点的日志报错: WARN ...
执行hql语句报错
报错如下:严重: Servlet.service() for servlet [spring] in context with path [/nba] threw exception [Request processing failed; nested exception is java.lang.IllegalArgumentException: Parameter teamno does no...
[Hadoop]Sqoop 1.4.2中文文档(三)之SqoopJob与其外的操作
[size=large][b]一、sqoop job相关命令参数[/b][/size] [code="java"]usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]] Job management arguments: --create Create a new saved job ...
hive脚本运行查看错误日志方式
当脚本在运行时报错信息如下: Examining task ID: task_201201061122_0007_m_000002 (and more) from job job_201201061122_0007 Exception in thread "Thread-23" java.lang.RuntimeException: Error while reading from tas
Shell脚本实现执行‘Hive脚本’
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件hive映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 Hive目前还不支持像Mysql那样的sql脚本,如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况,想了许多土方法)。 于是就想到了用shell脚本去实现执行批量HQL命令...
Hive体系结构之HQL执行过程
一条HQL语句如何在hive中进行查询? 解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后的MapReduce调用执行。 Oracle的执行计划: 例如: 全表扫描代价大些,可以先创建索引。 --先创建索引 create index myindex on emp(deptno); --
Hive的体系结构之HQL的执行过程
一 一条HQL语句如何在hive中进行查询 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。     二 怎样查看oracle的执行计划 1、不创建索引的执行计划   2、创建索引的执行计划     Hive的执行计划和oracle的执行计划类似
hive执行job时候假死,kill comman卡住解决办法
如图,hive提交查询的时候,在这步卡主不动假死,也不报错,log也查不出来。 查了各种办法也没解决。 最后反思 1.不借助hive进行分析时候,仅仅是提交job跑mr没有问题 2.到hive上却假死怀疑是Hive没有连接上mapreduce。一检查hive-env.sh果然是这样。配置hive-env.shHADOOP_HOME=/apps/hadoop export HIVE_CONF_
Hive之 Hql语法解析
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言
hive:执行hql脚本
需求: 基于hive做hdfs的统计分析 涉及点: 1.基于hive 执行hql脚本: Java代码  hive -f /home/usr/my.sql   2.基于hive执行hql命令: Java代码  bin/hive -e "select count(1) from tab;"   3.安静模式执行,不打印mrjob的进度: Java代码  hive -S -f /hom...
Hive入门(四):HQL查询语句(一)
select 查询显示表名 查询所有列 查询指定列并指定列别名 查询集合数据类型列 查询Array元素 查询Map元素 查询Struct元素 查询计算列 算数运算符 运算函数 数学函数 聚合函数 表生成函数 Limit函数 嵌套select 语句 case语句 where语句 浮点数比较问题 模糊匹配 like rlike group by select 首先可...
hql不能在distinct,group by结果集上使用count的问题,报语法错误
hql有如下两个限制: HQL(SQL)不支持select count(distinct x, y) from xx; HQL不支持select count(*) from (select distinct x, y from xx); 即:HQL不支持from语句中的子查询。 PS:hql不能在distinct,group by结果集上使用count的问题 !
通过yarn 查看完整的hql语句
流程: 点击Tracking URL—->左侧job下的configuration—->在右侧Search 搜string(hive.query.string)对应的value就是现在执行或者已经完成的hive程序对应的sql语句
解决hql子查询不能用max聚合函数的问题
hibernate框架下想查出日志表最新的一条记录,因为主键id是递增的,所以用子查询选出表中最大的id作为主查询的条件,代码如下: public class MonitorDAO extends HibernateEntityDao { public TLog findLatestLog() { String sql = "from TLog where id=(select max(id
hive语句执行顺序
SQL语句书写顺序: select … from… where…. group by… having… order by.. MySQL语句执行顺序: from… where… group by… having…. select … order by… hive语句执行顺序: from… where… select… group by… having … ord
shell脚本调用hive示例
方法一:    建立shell脚本如下run.sh如下: #!/bin/sh #参数传递 source /etc/profile; source ~/.bash_profile; BASEDIR=`dirname $0` cd $BASEDIR #classpath优先当前目录 CLASSPATH=$BASEDIR #classpath其次是config目录 ...
那些年,写hive sql时所踩过的坑
本文记述一些本人在用hive时,所遇到的一些大坑小坑,一是防止自己再次落坑,二是避免旁人也掉入进去。文章会不定时更新。
利用Zeppelin来操作Hive数据仓库。
zeppelin的操作流程: 首先添加hive的interpreter 相关的配置信息如下所示: 另外还要添加相关的依赖:   hive的操作方式  利用hiveserver2来操作 首先要启动元数据服务 cd hive cd  bin ./hive --service metastore &  //后台启动 ./hive --service hiveserve...
执行hive时 mapreduce报错
hive> select count(*) from testkkk; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile...
Hive常用Job配置 & Map,Reduce数量控制
开启动态分区:hive.exec.dynamic.partition=true默认值:false描述:是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值:strict描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的。读取表的时候可以不指定分区。 设置如下参数配置动态分区的使用环境:hive.exec.max...
hive:(group by, having;order by)的使用;group by+多个字段,以及wiki说的group by两种使用限制验证
hive上 查询 hive> select * from app_data_stats_historical where os='1' group by dt limit 100; 出现结果如下: 2014-01-01 2014-01-06 2014-01-13 2014-01-20 2014-01-27 2014-02-01 2014-02-03 2014-02-04 20
运行hive,报错,解决经历
今天运行hive,因为hadoop原来为分布式,然后改成伪分布式后,运行hive报错 初步判断是由于HA节点中处于standby状态造成的异常 Operation category READ is not supported in state standby 关闭后stop-all.sh 在重启start-all.sh 还是报错,然后重启了一下服务器 从新打开hadoop  star...
【Hive十一】Hive数据倾斜优化
什么是Hive数据倾斜问题   操作:join,group by,count distinct 现象:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成;查看未完成的子任务,可以看到本地读写数据量积累非常大,通常超过10GB可以认定为发生数据倾斜。 原因:key分布不均匀 倾斜度衡量:平均记录数超过50w且最大记录数是超过...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 报游戏开发培训班 报大数据班