Hive中在整合HBase的表中插入数据时报错

伪分布式模式下整合Hadoop 2.2.0(自己基于Ubuntu 64位系统编译的)+HBase 0.98+Hive 0.14,其他功能操作都正常,但是在Hive中往基于HBase存储的表中插入数据时报错,网上找了很多方法,但都没用,具体错误如下:
java.lang.IllegalArgumentException: Can not create a Path from an empty string
at org.apache.hadoop.fs.Path.checkPathArg(Path.java:127)
at org.apache.hadoop.fs.Path.(Path.java:135)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:213)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:429)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1604)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1364)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1177)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1004)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:994)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:247)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:199)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:410)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:783)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.lang.IllegalArgumentException(Can not create a Path from an empty string)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

有没有人遇到过同样的问题?

0
扫码支付0.1元 ×
其他相关推荐
创建hive和hbase整合表报错原因之一
我的hive版本是apache-hive-1.2.1-bin.tar在hive里创建hive和hbase整合表的内部表报错信息如下:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily...
hive导入数据到hbase 遇到的问题
原文地址:http://blog.csdn.net/manburen01/article/details/39477733?utm_source=tuicool&utm_medium=referral   版本说明:hive-0.13.1         hbase-0.96.0/hbase-0.98.2  第一步:在hive客户端执行hive关联hbase建表语句    hive中对应
hive和Hbase整合时发生的异常!
建表提示错误 FAILED:ExecutionError,return,code,1,from,org.apache.hadoop.hive.ql.exec.DDLTask.org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;) 解决:hive版本是1.2.0 ...
hive与hbase的整合时错误
当利用hive来管理hbase时,出现如下错误: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name at org.apache.hadoop.hive.ql.exec.F
Hive和HBase整合
hive hbase 整合
hbase与hive关联、插入数据
接上一篇文章hbase的基本操作,做进一步深入。细想一下,使用put命令插入数据到hbase,使用get方法从hbase读取数据还是有诸多不方便。显然,NO SQL数据库在某些操作上还是没有支持SQL的数据库更加便捷。那么,是否可以将hbase与什么关联一下,既支持hbase的NO SQL又保留SQL的一些特性?答案是hbase与hive关联可以实现上述需求。 如何关联 关联前,先创建hbas...
hive整合hbase 建表命令
1. 启动hive ./hive --auxpath /opt/apache/hive-0.12.0-bin/lib/hive_hbase-handler-0.12.0.jar,/opt/apache/hive-0.12.0-bin/lib/hbase-0.94.8.jar -hiveconf hbase.master=master:60000
spark sql读取映射hbase数据的hive外部表报错
集群环境CDH5.8.0 / spark2.1.0 我们用执行以下命令报错: spark2-submit --master yarn --class com.egridcloud.hive.SparkReadHbaseTest2 ./dac-repair2.jar 'SELECT count(*) FROM test' 'hdfs:///user/asmp/test/HT' 其中test表是...
Hbase和Hive整合,Hive读Hbase的表内容
经过一下午,终于测试成功。前期:Hapood平台、Zookeeper、Hbase、Hive都安装好。(安装可以参考其它资源)本Demo版本:jdk1.8.0_171,hadoop-2.7.3,zookeeper-3.4.9,mysql-5.6.40-linux-glibc2.12-x86_64,hbase-1.2.4,apache-hive-2.1.1-binroot@master lib]#...
Hive整合Hbase详解
Hive 整合Hbase1、摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景2.1 将ETL操作的数据存入HBase  2.2 HBase作为Hive的数据源  2.3 构建低延时的数据仓库 3、环境准备3.1 hive与hbase版本兼容性Hive...
CDH--Spark结合Hive/Hbase/Kudu报错找不到表或找不到相关包的问题解决
问题描述一:Spark结合Hive开发,明明有表,却报错找不到表问题 问题描述二:找不到相关jar包 NoClassDefFoundError
Hive与Hbase关系整合
近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享。 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive
hive和hbase集成使用出现兼容问题重新编译源码
一、版本和兼容问题 hive1.2.1 hbase1.3.1 兼容问题报错(最后查看社区发现版本问题)hive-hbase-handler-1.2.1.jar 二、编译源码 去官网下载hive1.2.1的源码。 解压到桌面。 创建一个java项目。 1.把hive1.2.1lib和hbase1.3.1下面到jar包导入到项目的libs目录下(把里面重复的jar包去掉),...
Hbase表映射成hive中
Hbase表映射成hive中 一、1.Hive内部表,语句如下 1、hive中建表 CREATE TABLE member( m_id string , address_contry string , address_province string , address_city string , info_age string , info_birthday string ,
hive创建外部表映射hbase中已存在表问题
hbase中的建表脚本:create 'HisDiagnose',{ NAME => 'diagnoseFamily'} 通过往hive中创建外部表来映射hbase中已经存在的表结构,从而可以通过Hive QL查询hbase表中的数据,从而使得hbase这种NOSQL数据库具备SQL的能力,脚本脚本为:CREATE EXTERNAL TABLE HisDiagnose(key strin...
Hive整合HBase 通过Hive读/写HBase中的表
写在前面一: 本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。   写在前面二: 使用软件说明 约定所有软件的存放目录: /home/yujianxin 一、Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive
通过hive表整合查询hbase数据
大家知道,直接从hbase的读取数据是一个比较繁锁的过程,需要java代码或是spark 查询 通过Hive整合HBase,可以通过hive表查询hbase数据,下面是测试过程 --创建hbase表 create "user","account","address","info","userid" --创建映射hbase表列族的hive外部表 CREATE EXTERNAL TABLE ...
Hive表中通过查询插入数据错误(解决!)
1.报错如下: 2.错误原因: 表中字段太多,为了简便使用了 select *,导致查询结果中的列数不匹配。 3.解决办法: 将 select * 改为需要的字段即可。
将mysql中数据导入到hbase中出现 NoSuchMethodError
具体的错误为:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V 原因是: 新的Hbase版本使用了新的Api,不支持老的api了。S
Hive与HBase结合实现HiveQL语句操作HBase表
0. 上传完整的jar文件到hive/lib中 删除hive/lib下所有文件 解压上传以下jar到该目录 1. 修改hive-site.xml <name>hbase.zookeeper.quorum</name> <value&am
hive与hbase的兼容性问题
Hive命令行查询表时的错误信息:(hbase-0.98.X)(hive-0.12.0) Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writa
hive和hbase表数据同步
第一步:建立book_local create external table book_load ( id int, bcode String, zcode String, bname String, author String, publish String, fcode String, floor String ) row format delimited fields t
使用Spark,从HIVE中获取数据写入HBase过程中遇到的坑
在学习大数据的过程中,通过提交spark-submit提交jar包,将hive中的数据写入HBase的过程中遇到诸多问题,与大家分享。 首先,在跑任务的过程中发现错误。 ERROR metastore.RetryingHMSHandler: AlreadyExistsException(message:Database default already exists)  该问题是在...
Hive表数据导入到Hbase
修改hive的配置文件hive-site.xml,增加: hive.aux.jars.path file:///home/hadoop/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///home/hadoop/hive-0.9.0/lib/hbase-0.92.0.jar,file:////home/hadoop/hive
hive导入数据到hbase
背景 hive有一张表user_tag_detail,表中数据约1.3亿,需要将改表数据导入到hbase 尝试了两种方式 - 1、新建hive表hbase_user_tag_detail,关联hbase表user_tag_detail,将user_tag_detail数据导入hbase_user_tag_detail - 2、生成hfile,使用HBaseBulkLoad导入 官网文档 ...
将文件中数据源导入到关联了hbase表的hive表中
因为数据是从线上服务器中hbase中直接导出来,需要导到测试服务器中进行功能测试。所以这个数据文件可以直接使用hbase自带的命令脚本 hbase org.apache.hadoop.hbase.mapreduce.Import extract.user_recharge_repay_hour /user/zhouhao/tmp/part-m-hour 最后最后面接的目录需要是hdfs上的目录...
hive和hbase整合知识总结
参考资料 http://lxw1234.com/archives/2015/06/319.htm   https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration http://blog.csdn.net/wulantian/article/details/38111683 1.hiv
Hive学习笔记1:Hive创建外部表指向Hbase表时的汉字乱码问题
由于Hbase中查询数据不方便,所以在Hive中建一个外部表指向Hbase中的表,但是在Hive中查询的记录数结果和Hbase中的不一致,排查原因最后发现是Hbase中储存的汉字存在乱码问题,虽然用的String格式存储,但是在Hive的外部表中显示为乱码,解决办法待更新
SparkSql使用内部集成hive访问hbase
SparkSql需要用到hive的元数据,有两种方式集成方式分别为使用buildin的hive直接连接hive的mysql元数据库和连接metastore thrift server 注:Spark自带的hive版本为1.2.1,使用mysql方式时,spark会自动将hive源数据库中的metastore version改为1.2.0,导致高版本hive使用出现问题。 实际测试时发现,如果想同...
hive中创建子表并插入数据过程初始化MR报错解决方法
本文继成上一篇通过hive分析nginx日志文章,详情参考下面链接: http://www.cnblogs.com/wcwen1990/p/7066230.html   接着来:   创建业务子表: drop table if exists chavin.nginx_access_log_comm; create table if not exists cha
hbase和hive的相互整合(需要兼容)
也是前几天才知道,hive这玩意可以和hbase整合,就在网上找了些资料,准备用我的单节点试一试,单节点上面安装的apache版本的hbase和hive,导致整合的时候不兼容,一直报错: org.apache.hadoop.hbase.HTableDescriptor.addFamily 找不到addFamily方法,所以只有用cdh的版本了(chd有对应的安装包的版本,兼容好)已经安装hbas
Hive与HBase实现数据互导
Hive与HBase实现数据互导 建立与HBase的识别表 hive> create table hive_hbase_1(key int,value string)     > stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'     > WITH SERDEPROPERTIES ("hbase.columns.ma
HIVE:表中插入数据出错
在hive中创建表t,id int ,name string ,age int如下图 hive> desc t; OK id int name string age int 向表中插入数据 hive> insert into t (id,name,age)...
用mapreduce程序将hive写数据到hbase慢的解决办法
项目中可能会有将hive的数据同步到hbase的需求,但是有时mapreduce程序写数据会非常慢,也有可能会出现数据倾斜问题。这时就要对mapreduce程序进行优化了。        首先确定调大reduce个数,比如从5个调大到10个,如果还不能有效的加快速度。就需要在mapreduce程序中将hive中大量的空过滤掉,这部分特别耗资源,也会引起数据倾斜。这部分空到hbase中也没用,过滤
Hive 创建外部表失败解决方案
在hdp平台上,使用hive控制台创建一个hbase的外部表,出现ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.TableNotFoundException,原因是启动...
Spark SQL读取hbase映射到hive表--开发流程介绍
如何在本地使用SparkSQL连接hbase映射到hive的外部表,操作步骤如下: 一、在pom文件中添加所需的依赖,如下是必要的依赖,根据自己的实际情况选择对应版本,如果运行时找不到某些类,可能还需添加其它依赖。 <dependency> <groupId>org.apache.spark</groupId> <artifactId...
第十五记·HBase压缩、HBase与Hive集成详解
XY个人记 一、HBase的压缩配置 HBase压缩的三个阶段: 1.在数据进入HDFS之前进行压缩 2.在MapRecduce的shuffle过程中:Map完成 Reduce开始阶段 数据在节点之间传输的时候进行压缩 3.数据处理完成存到HDFS之上的时候进行压缩 压缩的目的: 1.节省HDFS的存储空间,缓解存储压力 2.减少网络传输的数据,减轻网络传输负载 HBase配置压...
Spark SQL读取hbase映射到hive表-----异常记录
异常问题一: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase     at java.lang.ClassLoader.defineClass1(Native Method)     at java.lang.Clas...
Hive整合Hbase(一)
Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备 3.1...
hive向表中插入数据报错和linux中mysql启动报[运行错误]
hive向表中插入数据失败但是导入可以,很可能是hadoop集群中的conf/hadoop/core-side.xml配置好了但是没分发到集群上其它的节点的原因,可以看看集群中其它的机器的core-side.xml文件是否与内容一致 hive命令中是删除不了hdfs文件系统中的表的数据的, 删除或更新会报:Error while compiling statement: FAILED: Seman...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 数据库中关于课程的表 数据库中课程表学生表