hadoop 中hive 不执行 10C

hive> insert overwrite table sa select id from te;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20170216055248_a12e429f-db15-4e4a-8b5e-0eb2dc4ef60b
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1487253081716_0001, Tracking URL = http://master:8088/proxy/application_1487253081716_0001/
Kill Command = /opt/hadoop/hadoop-2.7.3/bin/hadoop job -kill job_1487253081716_0001
执行到此处没反应,怎么解决

1个回答

在yarn页面看你启动的mr程序页面里面的日志,可以详细看到哪里出错了
从上面的报错暂时看不出什么错误

sinat_26289383
sinat_26289383 DataStreamer for file /tmp/hadoop-yarn/staging/root/.staging/job_1487258261136_0001/job.jar] hdfs.DFSClient: Caught exception java.lang.InterruptedException
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
数仓ETL任务规范
hive spark hadoop hive spark hadoop hive spark hadoop hive spark hadoop
crontab定时hadoop任务没有执行
最近公司要从sqlserver数据库数据大约100G导入到hdfs中,由于数据库在同事的服务器中,为了不影响同事工作,计划晚上自动执行。服务器的定时脚本的时候发现了定时脚本并没有被执行,但是定时比如创建文件夹却可以执行,并且执行了下发现脚本的逻辑是没有问题的,而且直接执行是没有问题的,又去/etc/crontab文件里去看了下 原来是crontab中的环境变量不一样,需要在定时脚本前面加上环境
常见Hadoop面试题
Hadoop、hive、hbase常见面试题!!! Hadoop、hive、hbase常见面试题!!! Hadoop、hive、hbase常见面试题!!! Hadoop、hive、hbase常见面试题!!!
hive编程指南(高清)
市场中第一本Hive图书。 Hive在Hadoop系统中的应用趋势比较可观。 hive经典书籍
Hadoop之Hive简介与安装、测试(一)
一、Hive是什么? Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析与管理。可以通俗的理解为: 对于存储在HDFS中的数据进行分析与管理时,我们不想使用手工,从而建立一个工具来进行相应的操作,这个工具就是hive。 数据仓库:数据仓库的本质就是收集尽可能多的信息,用作公司的决策支持。数据仓库一般是不可更新的,数据仓库主要是为决策分析提供数
hadoop文档代码栗子
hadoop hive hdfs hbase hadoop hive hdfs hbase hadoop hive hdfs hbase
hadoop生态系统学习之路(六)hive的简单使用
一、hive的基本概念与原理Hive是基于Hadoop之上的数据仓库,可以存储、查询和分析存储在 Hadoop 中的大规模数据。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据,允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 没有专门的
crontab hadoop任务没有执行
最近一段时间 公司要把sqlserver里的100G数据导入到HDFS中,但是数据库在同事的服务器中,为了不影响同事工作,决定定时在晚上自动执行,但是crontab并没有自动执行,并且执行了下发现脚本的逻辑是没有问题的,而且直接执行是没有问题的,后来又去/etc/crontab文件里去看了下,发现crontab中的环境变量不一样解决办法如下: 1:在本地输入 echo $PATH 2:将输
如何在hive的shell中使用hadoop shell 和linux的命令
1 使用linux 命令 hive> !pwd;  #前面加上一个!后面加上; 2 使用hadoop shell hive>fs -ls /  #省去前面的hadoop 后面加上; 3 hive -e  可以执行多条Hql ,中间使用;隔开    hive -S 采用静默的方式执行Hql 结果集不会打印到控制台上,而是会输出到标准输出当中,可以使用 | 将结果集重定向到指定的文件当中
使用Hadoop和Hive命令行
hadoop 解压 gz 文件到文本文件 $ hadoop fs -text /hdfs_path/compressed_file.gz | hadoop fs -put - /tmp/uncompressed-file.txt 解压本地文件 gz 文件并上传到 hdfs $ gunzip -c filename.txt.gz | hadoop fs -put - /tmp/
hive-hadoop 常用命令
1.查看hadoop任务yarn application -list |grep 用户名 yarn application -kill application_1443009203033_866212.liunx nohup命令nohup ./label_driver.sh > /home/disk4/bi/driver_label/label_driver20150325.log 2>&1 &
Hadoop生态中:Hive、Pig、HBase 关系与区别
Hadoop生态中:Hive、Pig、HBase 关系与区别
HADOOP:HIVE常用知识总结
HIVE简介 hive (数据仓库工具):hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive 没有专门的数据格式。 Hive
hadoop学习笔记(八)——hadoop整合hive
环境:centos7+hadoop2.5.2+hive1.2.1 1) 下载hive稳定版本apache-hive-1.2.1-bin.tar 2) 在/usr/local目录下解压,与hadoop处于同一级别 a) # tar -xzvf apache-hive-1.2.1-bin.tar.gz b) # mv apache-hive-1.2.1-bin hive1.2 c) # cp hiv
Hadoop基础知识---Hive篇
HIVE 简介 Hive是Hadoop生态系统中必不可少的一个工具,它提供了一种SQL方言,可以查询存储在Hadoop分布式文件系统(HDFS)中的数据或其它和hadoop集成的文件系统,如果MapR-FS,Amazon S3和像HBase(Hadoop数据库)和Cassandra这样的数据库中的项目。 大多数数据仓库应用程序都是使用关系型数据库进行实现的,并使用SQL作为查询语言。Hive
在Hadoop集群上的Hive配置
环境介绍 系统:Ubuntu14.04 64位 Hadoop版本:hadoop-2.7.2 Hive版本:apache-hive-2.1.0-bin 集群环境: ### 环境介绍 系统:Ubuntu14.04 64位 zookeeper版本:zookeeper-3.4.8 hbase版本:hbase-1.2.2 集群环境: 角色 hostname IP mast
hadoop 异常 reduce长时间卡住停滞不前的问题
起因:   datanode的磁盘挂掉了2个   昨天的任务跑完了之后,检查了下dfsadmin -report  监测到集群之中有个节点的 Configured Capacity 比其它的节点少了差不多2个磁盘的容量; 然后去检查了下这个节点 发现确实有2个磁盘出了问题。 于是。重启 换磁盘 ,重新启动了节点。 然后在此节点上 执行了balancer   问题出现了:
Linux Crontab执行hadoop命令脚本失败
crontab调度hadoop命令脚本,需要添加source /etc/profile 或者 source ~/.base_profile
Hadoop系列四:Hadoop之Hive篇
Hive安装和运行 Pig与RDBMS、Hive比较 Pig Latin是一种数据流编程语言,而SQL是一种描述性编程语言。换句话说,Pig程序是相对于输入的一步步操作,其中每一步是对数据的一个简答的变换。相反,SQL语句是一个约束的集合,这些约束的集合在一起,定义了输出。 Hive介于Pig和传统RDBMS(关系数据库管理系统Relational DatabaseManagement Sy
Hadoop+Hive部署安装配置
最近结合具体的项目,搭建了Hadoop+Hive,在运行Hive之前要首先搭建好Hadoop,关于Hadoop的搭建有三种模式,在以下的介绍中,我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。 准备工作: 以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录1、分别ssh到每台服务器上,在root用户下修改hostname su root vim
Hive编程指南
市场中第一本Hive图书。, Hive在Hadoop系统中的应用趋势比较可观。
kylin问题总结
点击加载hive表出现如下异常: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionState java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionState 解决:将hive lib文件夹下的lib拷贝
hive编程指南
市场中第一本Hive图书。, Hive在Hadoop系统中的应用趋势比较可观。
Hadoop hive表基本操作
一:hadoop基本常用命令1.查看指定文件下内容hdfs dfs -ls /tmp/lcj2.打开某个已存在的文件hdfs dfs -cat /tmp/lcj/t_gz.txt3.删除指定文件hdfs fs -rm /tmp/lcj/t_gz.txt4.删除文件夹hdfs fs -rmr /tmp/lcj5.创建新的文件夹hdfs fs -mkdir /tmp/new二:hive的基本操作1.登...
Hive编程指南(带书签)
市场中第一本Hive图书。 Hive在Hadoop系统中的应用趋势比较可观。
Hive编程指南_pdf_中文版
Hive编程指南.pdf 完整版。市场中第一本Hive图书。 Hive在Hadoop系统中的应用趋势比较可观
Hive编程指南完整版
Hive编程指南.pdf 完整版 市场中第一本Hive图书。 Hive在Hadoop系统中的应用趋势比较可观。
hadoop hive可用的数据连接jar包
hadoop hive可用的数据连接jar包,hadoop hive可用的数据连接jar包
Hive中jline.jar与Hadoop中的jline.jar版本不同,启动hive出错
[root@wanghy conf]# hive 15/05/30 10:36:52 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration in file:/root/work/hive/conf/hive-log4j.pro
[完]基于Hadoop的数据仓库Hive 基础知识
Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定
大数据时代hadoop中hive介绍
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性:  1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Hadoop Reducer类中的reduce方法不执行的原因
Reducer类中的reduce方法覆写时需要注意: Eclipse快捷键覆写这个方法的时候,Context的类型是org.apache.hadoop.mapreduce.Reducer.Context,而如果去掉@Override标签,就不会报错误,直接导致reduce这个方法就不会调用了,正确的应该如下图
Hive与hadoop的面试知识点
一.hive中sort by、order by、distribute by、Cluster by代表什么意思? 1、order by 会对输入做全局排序,因此只有一个 reducer,会导致当输入规模较大时, 需要较长的计算时间。 2、sort by 不是全局排序,其在数据进入 reducer 前完成排序。因此,如果用 sort by 进行排序,并且设置 mapred.reduce.task
在Hadoop分布式集群中安装hive
依赖环境 hadoop分布式集群环境为上一篇中搭建好的集群环境: 一台master主机名:ubuntu-01,两台slave节点,分别是 ubuntu-01-node1、ubuntu-01-node2 与hadoop一样,先在ubuntu-01上安装,然后将文件复制到其他节点中。 安装hive之前先启动集群,三台都要启动 提前下载好文件:apache-hive-2.3.2
hive实现txt数据导入,理解hadoop中hdfs、mapreduce
背景:通过hive操作,了解hadoop的hdfs、mapreduce。 场景:hadoop双机集群、hive 版本:hadoop和hive的版本搭配最和谐的是什么,目前没有定论,每种版本的搭配都会有一些bug出现。           本例中版本:hadoop-1.0.3   hive-0.10.0-bin 实现:将本地的网络访问日志文件导入到hive中。 hive demo comm
hadoop命令及hive数据库操作语句的简单使用
一、hadoop 1.Hadoop查询文件属性详细信息:du -lh 2.如果没有配置hadoop环境变量, 则应到hadoop的bin目录,执行hadoop命令,如: 第一步: cd /home/hms/hadoop/hadoop-2.6.0/bin ; 第二步: ./hadoop fs -ls /userrepot 注: “./”指本地3.简单hadoop命令 ①查询hadoop文件
基于Hadoop的数据仓库Hive 学习指南
【版权声明:本指南为厦门大学林子雨开设的《大数据技术原理与应用》课程新增配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】 本指南介绍了Hive,并详细指引读者安装Hive。 前面第几章学习指南已经指导大家安装Linux操作系统,并安装配置了Hadoop,但是这只表明我们已经安装好了Hadoop分布式文件系统,而Hive需要另外下载安装,本指南就是详细指导大家安装并配置Hive,完成
hadoop及hive常用命令查询
hadoop操作命令 基本命令格式: hadoop fs -cmd < args > 增 创建目录 hadoop fs -mkdir -p < hdfs path> 删 删除文件 hadoop fs -rm < hdfs file > 删除目录 hadoop fs -rm -r < hdfs dir> #删除目录 hadoop ...
hadoop/hive/hbase 简单区别及应用场景
1、hadoop:它是一个分布式计算+分布式文件系统,前者其实就是MapReduce,后者是HDFS。后者可以独立运行,前者可以选择性使用,也可以不使用2、hive:通俗的说是一个数据仓库,仓库中的数据是被hdfs管理的数据文件,它支持类似sql语句的功能,你可以通过该语句完成分布式环境下的计算功能,hive会把语句转换成MapReduce,然后交给hadoop执行。这里的计算,仅限于查找和分析,...
hadoop之hive在数据检索中的用法
hive:我只用他来检索过日志,对这个谈不上什么精通或熟练,只是会使用而已,可以按需求进行特定的数据检索而已,这个东西很方便,比map-reduce方便很多 你可以把他完全当成mysql来用,因为这个也是用的SQL 语句,存储只不过数据不是存在我们常用的mysql等数据库中 为什么有map-reduce还要有这个hive呢? 我个人的理解是,map-reduce不管你查询什么或计算什么都需要
相关热词 用户权限才c# c#应用程序实例 c#请求接口数据 c#高效读写plc c#代码规范快捷方式 c#编辑模板 c# 内存存储 c# poi 生成图表 c#页面 弹出页面选择框 c# 不实现 继承接口