Hive对Hadoop MapReduce任务进行封装,通过jdbc的api接口可以发起hive任务。有些任务可能会解析一个或多个mapreduce任务。
如何监控hive的任务,再在外部时间较长的情况下,杀掉某些hive任务。
(1)通过JDBC接口执行一条SQL语句时,这条SQL语句被转换成几个MR任务,每个MR任务的JobId是多少,如何维护这条SQL语句与MR任务的对应关系?
(2)如何获取MR任务的运行状态,通过JobClient?
(3)如何杀掉hive任务,及hive解析的mapreduce任务?
补充一点,发起任务,是通过远程java api发起的,后续查杀任务也需要用代码实现。人工看界面,或者到mr任务平台查看信息等方式都不考虑。
1是看是否有官方api,2看看有没有方式和hiveserver交互获取提交任务的信息。