2 blueshine2 blueshine2 于 2016.09.18 16:48 提问

Hive如何查询和kill掉hive正在执行的任务 10C

Hive对Hadoop MapReduce任务进行封装,通过jdbc的api接口可以发起hive任务。有些任务可能会解析一个或多个mapreduce任务。
如何监控hive的任务,再在外部时间较长的情况下,杀掉某些hive任务。
(1)通过JDBC接口执行一条SQL语句时,这条SQL语句被转换成几个MR任务,每个MR任务的JobId是多少,如何维护这条SQL语句与MR任务的对应关系?
(2)如何获取MR任务的运行状态,通过JobClient?
(3)如何杀掉hive任务,及hive解析的mapreduce任务?

补充一点,发起任务,是通过远程java api发起的,后续查杀任务也需要用代码实现。人工看界面,或者到mr任务平台查看信息等方式都不考虑。
1是看是否有官方api,2看看有没有方式和hiveserver交互获取提交任务的信息。

2个回答

CSDN_ZOL
CSDN_ZOL   2016.09.18 23:30

linux上面jps可以看到一些java近程,然后kill -9 结束hive相关的,如果还是不行,那么就top。或者直接ps -ef|grep hive

blueshine2
blueshine2 我理解任务发起之后,在服务端运行了,我们的平台服务端不对方开发,而且我这边要用代码定位任务且监控
接近 2 年之前 回复
dj159357
dj159357   2016.09.18 17:50

在提交任务的时候,在command界面有相关的信息啊

blueshine2
blueshine2 远程提交的,不是shell客户端
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
如何杀掉当前正在执行的hadoop任务
列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently running JobId   State   StartTime       UserName        Priority        SchedulingInfo job_2012
hive执行job时候假死,kill comman卡住解决办法
如图,hive提交查询的时候,在这步卡主不动假死,也不报错,log也查不出来。 查了各种办法也没解决。 最后反思 1.不借助hive进行分析时候,仅仅是提交job跑mr没有问题 2.到hive上却假死怀疑是Hive没有连接上mapreduce。一检查hive-env.sh果然是这样。配置hive-env.shHADOOP_HOME=/apps/hadoop export HIVE_CONF_
通过MapReduce JobID 停止(kill)指定任务
一、说明        有时候我们在提交任务以后,能够获取一个MapReduce任务的ID,一般为Job_**********_xxxx的组合,下面将介绍如何获取JobID,与通过其他程序与JOBID停止一个正在运行的任务。 二、流程 1、提交任务并获取ID值。 通常情况下,我们进行远程提交时,都会使用job.waitForCompletion(true);函数去提交一个任务并且在ecli
在Hadoop监控页面如何查看Hive的完整SQL
如图,这里只能看到简单的一段SQL,几乎看不出具体在执行什么任务。 此时可以点开一个application,点击Tracking URL: ApplicationMaster 进入到MapReduce Job job_1409xxxx,Job页面 点击左侧的Configuration 这里有此Job对应的所有参数,在 右上角的搜索框中输入string, 其中key为 hive.
Hadoop监控页面查看Hive的完整SQL
想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看? 方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。 1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History), 进入到MapReduce Job job_1409xxxx,Jo
查看任务执行情况
1. 找到启动的任务 ps aux | grep python xx.py会模糊匹配,找到相关的任务 第一列:USER,第二列:进程号PID,第三列:占用的CPU、第四列:占用的内存 2. 找到然后杀掉 ps aux | grep xx.py | awk -F" " '{print $2}' | xargs kill -9
hive正常安装后执行任何命令都会卡住
这次只是简单记录一下困扰了我两天的一个问题:         起初,我按照网上的步骤安装好了MySQL5.6,又安装了hive2.3,成功初始化启动,但是进入了命令行之后,不管是执行什么命令,sql命令甚至是exit,都会卡住,而且是无限卡住,我根本找不到原因,找了很多教程,确认了很多遍我的配置是没错的,还是没有任何办法。 后来我看到了一个教程,说明问题出在了hive-site.xml的配置上,
HIVE作业管理解决方案分析
hive任务处理 对于hive任务展示的时候需要把id和mr id关联, 杀死任务的时候需要把所有属于这个hive语句的任务都杀死。
hive 虚拟机下执行 HQL 被killed退出
背景:学习大数据,装了个虚拟机,搭载centos7的迷你,内存分配的512MB hive> select A.name,A.time     > from     > (select name,time,sum(count) from sale group by name, time) A join     > (select name,time,sum(count) from sal
杀死killHadoop Mapreduce job程序
(1)首先查找到僵死的JobID值 (2)hadoop job -kill $Job_ID [root@bigdata01-test sqoop-1.4.7]# hadoop job -kill job_1526097883376_0059 DEPRECATED: Use of this script to execute mapred command is deprecated. Ins...