Hive中在整合HBase的表中插入数据时报错

伪分布式模式下整合Hadoop 2.2.0(自己基于Ubuntu 64位系统编译的)+HBase 0.98+Hive 0.14,其他功能操作都正常,但是在Hive中往基于HBase存储的表中插入数据时报错,网上找了很多方法,但都没用,具体错误如下:
java.lang.IllegalArgumentException: Can not create a Path from an empty string
at org.apache.hadoop.fs.Path.checkPathArg(Path.java:127)
at org.apache.hadoop.fs.Path.(Path.java:135)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:213)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:429)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1604)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1364)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1177)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1004)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:994)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:247)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:199)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:410)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:783)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.lang.IllegalArgumentException(Can not create a Path from an empty string)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

有没有人遇到过同样的问题?

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive 和hbase整合插入数据时报错
用spark向hive于hbase关联的表中插入数据时报错java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat 哪位大神可以帮忙解答下
hive和hbase整合报错
我用的是hive0.12.0 和hbase0.90.6 hadoop1.2.1rn在成功创建表后,运行select * from hbase_table limit 10;的时候报如下错误rn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Body Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Before logical optimizationrnTS[0]-SEL[1]-LIM[2]-FS[3]rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for FS(3)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for LIM(2)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for SEL(1)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for TS(0)rn14/05/22 08:36:42 DEBUG hive.log: DDL: struct hbase_table_2 i32 key, string valuern14/05/22 08:36:42 INFO ql.Driver: rn[color=#FF0000]Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.security.User.isHBaseSecurityEnabled(Lorg/apache/hadoop/conf/Configuration;)Zrn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.addHBaseDelegationToken(HBaseStorageHandler.java:373)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureTableJobProperties(HBaseStorageHandler.java:342)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureInputJobProperties(HBaseStorageHandler.java:283)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureJobPropertiesForStorageHandler(PlanUtils.java:755)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureInputJobPropertiesForStorageHandler(PlanUtils.java:725)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.convertToWork(SimpleFetchOptimizer.java:208)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.access$000(SimpleFetchOptimizer.java:180)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.optimize(SimpleFetchOptimizer.java:103)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.transform(SimpleFetchOptimizer.java:74)rn at org.apache.hadoop.hive.ql.optimizer.Optimizer.optimize(Optimizer.java:131)rn at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:8392)rn at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:284)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:441)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:342)rn at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:977)rn at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)rn at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)rn at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)rn at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)rn at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781)rn at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)rn at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)rn at java.lang.reflect.Method.invoke(Method.java:606)rn at org.apache.hadoop.util.RunJar.main(RunJar.java:160)[/color]rn14/05/22 08:36:42 DEBUG fs.FileSystem: Starting clear of FileSystem cache with 2 elements.rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///
Hive中创建hbase关联表报错
我用的hadoop-2.2.0、hbase-0.96.1.1-hadoop2和hive-0.12.0集成了一个3台机器的环境,其中一台namenode,两台datanode。配置完成,把hive的源码拉下来重新编译过,并把生成的jar替换了hive/lib下面的jar,启动metastore service后,hive连接上,创建一般的表都没问题,就是创建和hbase的管理表就报错了,错误如下:rnhive> create table hivetest(key int, val string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "hivetest");rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 DEBUG parse.VariableSubstitution: Substitution is on: create table hivetest(key int, val string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "hivetest")rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO parse.ParseDriver: Parsing command: create table hivetest(key int, val string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "hivetest")rn14/03/28 16:08:15 INFO parse.ParseDriver: Parse Completedrn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO parse.SemanticAnalyzer: Starting Semantic Analysisrn14/03/28 16:08:15 INFO parse.SemanticAnalyzer: Creating table hivetest position=13rn14/03/28 16:08:15 INFO ql.Driver: Semantic Analysis Completedrn14/03/28 16:08:15 DEBUG parse.SemanticAnalyzer: validation startrn14/03/28 16:08:15 DEBUG parse.SemanticAnalyzer: not validating writeEntity, because entity is neither table nor partitionrn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO ql.Driver: Returning Hive schema: Schema(fieldSchemas:null, properties:null)rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO ql.Driver: Concurrency mode is disabled, not creating a lock managerrn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO ql.Driver: Starting command: create table hivetest(key int, val string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "hivetest")rnQuery ID = hadoop_20140328160808_7f47197f-7322-4aa0-8445-eaecdcfa4717rn14/03/28 16:08:15 INFO ql.Driver: Query ID = hadoop_20140328160808_7f47197f-7322-4aa0-8445-eaecdcfa4717rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO log.PerfLogger: rn14/03/28 16:08:15 INFO exec.DDLTask: Use StorageHandler-supplied org.apache.hadoop.hive.hbase.HBaseSerDe for table hivetestrn14/03/28 16:08:15 DEBUG security.Groups: Returning fetched groups for 'hadoop'rn14/03/28 16:08:15 DEBUG security.Groups: Returning cached groups for 'hadoop'rn14/03/28 16:08:15 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. Use hive.hmshandler.retry.* insteadrn14/03/28 16:08:15 DEBUG session.SessionState: Session is using authorization class class org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProviderrn14/03/28 16:08:15 DEBUG hive.log: DDL: struct hivetest i32 key, string valrn14/03/28 16:08:16 DEBUG hbase.HBaseSerDe: HBaseSerDe initialized with : columnNames = [key, val] columnTypes = [int, string] hbaseColumnMapping = :key,cf1:valrn14/03/28 16:08:16 DEBUG hive.log: DDL: struct hivetest i32 key, string valrn14/03/28 16:08:16 DEBUG hbase.HBaseSerDe: HBaseSerDe initialized with : columnNames = [key, val] columnTypes = [int, string] hbaseColumnMapping = :key,cf1:valrn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMTrn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:host.name=testserver4rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.version=1.7.0_01rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Oracle Corporationrn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.home=/usr/java/jdk1.7.0_01/jrernrn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.class.path=太长省略rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/home/hadoop/hadoop-2.2.0/lib/nativern14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmprn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:java.compiler=rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:os.name=Linuxrn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:os.arch=amd64rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:os.version=2.6.32-131.0.15.el6.x86_64rn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:user.name=hadooprn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:user.home=/home/hadooprn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Client environment:user.dir=/home/hadooprn14/03/28 16:08:16 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=javadb11g:2181,java11g2:2181 sessionTimeout=90000 watcher=hconnection-0x2896bed3, quorum=javadb11g:2181,java11g2:2181, baseZNode=/hbasern14/03/28 16:08:16 DEBUG zookeeper.ClientCnxn: zookeeper.disableAutoWatchReset is falsern14/03/28 16:08:16 INFO zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x2896bed3 connecting to ZooKeeper ensemble=javadb11g:2181,java11g2:2181rn14/03/28 16:08:16 INFO zookeeper.ClientCnxn: Opening socket connection to server java11g2/192.168.0.230:2181. Will not attempt to authenticate using SASL (unknown error)rn14/03/28 16:08:16 INFO zookeeper.ClientCnxn: Socket connection established to java11g2/192.168.0.230:2181, initiating sessionrn14/03/28 16:08:16 DEBUG zookeeper.ClientCnxn: Session establishment request sent on java11g2/192.168.0.230:2181rn麻烦大家帮我看看,是我哪里配置不对,还是替换的编译后的jar包有问题,谢谢。
hive与和hbase整合后从hive中无法插入数据到hbase表,求解
hive (default)> insert into hive_test(id,name,age,address) values(1,‘zhangsan’,‘20’,‘guangzhou’); Query ID = root_20190506224953_1e23aa88-14dd-41ce-9d87-493cd49c34a4 Total jobs = 1 Launching Job 1 ...
hive与hbase整合查询报错
这几天研究hive与hbase整合,但是整合发现查询速度特别慢,始终找不到问题的根源,哪个大神遇到过!!!rnhive与hbase单独运行没问题rnhive与hbase创建表,添加数据已可以实现级联操作rn但是hive查询会出结果,但是特别慢,而且日志报错。rn日志如下:rn2015-05-29 10:27:49,340 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogBegin(108)) - rn2015-05-29 10:27:49,341 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(371)) - Generating splitsrn2015-05-29 10:27:49,391 WARN [main]: hbase.HBaseConfiguration (HBaseConfiguration.java:getInt(174)) - Config option "hbase.regionserver.lease.period" is deprecated. Instead, use "hbase.client.scanner.timeout.period"rn2015-05-29 10:27:49,418 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave3/192.168.1.154 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '154.1.168.192.in-addr.arpa'rn2015-05-29 10:27:49,424 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave1/192.168.1.152 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '152.1.168.192.in-addr.arpa'rn2015-05-29 10:27:49,425 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(378)) - number of splits 2rn2015-05-29 10:27:49,425 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - rn2015-05-29 10:27:49,568 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(396)) - number of splits:2rn2015-05-29 10:27:49,892 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:printTokens(479)) - Submitting tokens for job: job_1432777916407_0004rnrn还有另外想问个问题,hive查询hbase的速度应该会比hive查询hdfs的速度要快吧!!!rn如果要使用hadoop的技术,用什么方式比较好做多条件快速查询,只是查询。rn
hive hbase关联表报错
hadoop2.6 hbase1.1.01 hive1.2 zookeeper3.4.6,现所有服务均正常启动,但在hive建表映射到hbase中时出错:rnrnhive> CREATE TABLE book(id int,name string,publisher string, cost float)rn > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'rn > WITH SERDEPROPERTIESrn > ("hbase.columns.mapping"=":key,info:name,info:publisher,info:cost")rn > TBLPROPERTIES ("hbase.table.name"="book");rnFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)Vrnhive> show databases;rnOKrndefaultrnTime taken: 0.156 seconds, Fetched: 1 row(s)rn哪个大牛遇到这个问题,坐等中。。。。
HIVE:表中插入数据出错
在hive中创建表t,id int ,name string ,age int如下图 hive> desc t; OK id int name string age int 向表中插入数据 hive> insert into t (id,name,age)...
hbase与hive关联、插入数据
接上一篇文章hbase的基本操作,做进一步深入。细想一下,使用put命令插入数据到hbase,使用get方法从hbase读取数据还是有诸多不方便。显然,NO SQL数据库在某些操作上还是没有支持SQL的数据库更加便捷。那么,是否可以将hbase与什么关联一下,既支持hbase的NO SQL又保留SQL的一些特性?答案是hbase与hive关联可以实现上述需求。 如何关联 关联前,先创建hbas...
Hbase和Hive整合,Hive读Hbase的表内容
经过一下午,终于测试成功。前期:Hapood平台、Zookeeper、Hbase、Hive都安装好。(安装可以参考其它资源)本Demo版本:jdk1.8.0_171,hadoop-2.7.3,zookeeper-3.4.9,mysql-5.6.40-linux-glibc2.12-x86_64,hbase-1.2.4,apache-hive-2.1.1-binroot@master lib]#...
创建hive和hbase整合表报错原因之一
我的hive版本是apache-hive-1.2.1-bin.tar在hive里创建hive和hbase整合表的内部表报错信息如下:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily...
hive与hbase整合
hive与hbase整合    hive操作hbase  整合hive与hbase的过程如下 1.将文件/opt/modules/hbase-0.98.15-hadoop1/lib/hbase-0.90.4.jar  与/opt/modules/hbase-0.98.15-hadoop1/lib/zookeeper-3.4.6.jar拷贝到/opt/modules/hive-1.0.1/l
Hbase与Hive整合
Hbase版本0.96.2 Hive版本0.13 在整合的时候需要将Hbase的部分以Hbase开头的包导入到Hive的lib中,并且,尤其注意一个htrace-core-2.04.jar这个jar包,没有的话会出错。Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstr
hive和hbase整合
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,catgyname5,catgyid6,catgyname6,catgyid7,catgyname7,catgyid8,catgyname8,catgyid9,catgyname9,levelnum,catgyno,createtmp idap_dim_chrg_item_catgy /user/hive/staging/idap_dim_chrg_item_catgy 注意导入的时候要先在hbase中创建idap_dim_chrg_item_catgy这个表 create
Hbase Hive整合映射
1. 创建hbase表 hbase(main):016:0> create 'hb_tgtest',{NAME => 'cf',REPLICATION_SCOPE => 1} 2.创建hive表 hive> CREATE EXTERNAL TABLE tgtest_info ( key int, device_id string, lon double, l...
Hadoop Hive与Hbase整合
Hadoop Hive与Hbase整合配置
使用Hive整合Hbase
一、配置 1、根据hive的版本去maven仓库找hive-hbase-handler.jar。 org.apache.hive hive-hbase-handler 0.14.0 把下载到的hive-hbase-handler-0.14.0.jar放到hive的lib目录下。 附:对hive和hbase的版本要求非常严格,必须要版本匹配才行。如何匹配版本?
Hive安装及与HBase的整合
介绍Hive的工作原理、配置及与HBase的整合。
hbase与hive的整合
环境说明: apache-hive-1.2.2-bin hbase-1.2.6 zookeeper-3.4.9 hadoop-2.7.3 前期说明: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 注意:以下路径以自己的路径为准 第一步: cp hbase-1.2.6
hbase和hive整合问题
hbase和hive整合后从hive创建hbase表报错如下: 百度一番后在csdn找到这篇文章: http://blog.csdn.net/u010376788/article/details/50905476 在Hive继承HBase中,二者的通信包就是hive-hbase-handler.jar,极其重要。如果我们用$HIVE_HOME/lib目录下的hive-hbase-hand...
HIVE和HBASE的整合
此文档是本人在工作中用到的知识总结出来的整合过程,本人是菜鸟,希望得到大神们的建议。
hive与hbase的整合
1.1hive整合hbase的搭建配置 说明:Hive是单节点,hbase为集群 修改hive-site.xml文件,添加zookeeper配置 <!--hive整合hbase --> <property> <name>hbase.zookeeper.quorum</name> <value>node1:2181,node...
Hive与Hbase的整合
Hive与Hbase的整合 1. Hbase表映射到Hive表中 1.1 Hive的配置文件修改 1.1.1 修改hive-site.xml配置文件,添加配置属性 <property> <name>hbase.zookeeper.quorum</name> <value>server01:2181,se
hive和hbase的整合
使用hbase作为用户行为分析的数据库,为了提高效率,集成了hive。 [b]安装[/b] 使用cloudera的cdh3u0版本,hbase安装见[url]http://jinghong.iteye.com/blog/1051732[/url], 解压hive到/home/hadoop/cdh3 [code="shell"]tar zxvf hive-0.7.0-cdh3u0.tar.g...
Hive整合Hbase(一)
Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备 3.1...
Hive与HBase的整合
Step 1:把hive的Lib目录下hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar,cp到hive/lib执行命令:cp /opt/apps/hive/apache-hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar /opt/apps/HBase/hbase-1.1.3/li
Hbase Hive 整合映射
Hbase Hive 整合映射 可使用HQL查询数据 步骤 1,创建Hbase表 2,映射Hive表 步骤一 说明:cf 列簇名,只put了少量测试列 create ‘cofeed_info’,{NAME => ‘cf’, REPLICATION_SCOPE => 1} put ‘cofeed_info’, ‘100001’, ‘cf:id’, ‘101’ put
Hive和Hbase整合
Hive创建以Hbase为数据来源的外部表 String[] sqls = new String[3]; StringBuffer sb = new StringBuffer(); sb.append("CREATE EXTERNAL TABLE alarm_log ( "); sb.append("key string, ");//rowkey
HBase与Hive整合的必要性
Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。          HBase全称为Hadoop Database,即HBase是Hadoop的数
Hive 整合Hbase环境配置
Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 1、应用场景 ETL操作的数据存入HBase HBase作为Hive的数据源 构建低延时的数据仓库 2、环境准备 hive与hbase版本兼容性 Hive版本 hive-1.2.1、hbase的版本hbase-1...
Hive与HBase的整合
开场白:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项:1、需要的软件有 Hadoop、Hive、Hbase、...
Hbase与Hive的整合
1.1原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。 Hive 访问 HBase 中表数据,实质上是通过...
Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程: 基本环境 整合配置 测试验证     详见:http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
hive、hbase整合
Hive 与Hbase 整合 原理: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示: 附件: 编译好的hive-hbase-handler-1.2.1.jar,可以直接使用 环境 —— jdk:1.8.0_65;hadoop:2.6.0 单节点;hbase:1.
Hbase整合Hive案例
一、原理:     Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。     Hive 访问 HBase 中表数...
Hive 与 Hbase的整合(四)
Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类一、将hbase 下相关的jar包拷贝到/home/centosm/hive/lib文件夹下面,如果已存在不同版本的则删除hive中的再复制上去。 具体操作步骤如下:1、备份hive下的lib包: zip -r lib.zip lib2、将hbase
HBase与hive关系整合
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本次课程适合HBase入门的学员,课程首先介绍了什么是HBase ,HBase安装以及Sell入门,其次通过介绍独立zk、JavaAPI、区域操作、HBase常用功能、过滤器等一系列功能操作进行详细解析,帮助学员更好的理解,最后以HA集成进行入门阶段的收尾,全程通俗易懂,为初学者提供了良好的学习素材。
Hive与Hbase关系整合
近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享。 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive
hive与HBase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面进行hql查询。让Hbase和Hive能互相访问,让Hadoop/Hbase/Hive协同工作,合为一体。  首先需要把hive/lib下的hbase包替换成安装的hbase的,需要如下几下: hbase-client-1.2.0.jar hba
Hive为何与HBase整合
hive的数据是无法更新的,除非去更改hdfs的原始文件,更改原始文件需要生成一个新的文件,十分费事。同时hive是进行海量数据统计分析,无法实时查询。 而hbase可以进行数据更新和海量数据的快速查询,弥补hive的不足,同时hbase的语法简直蛋疼,无法友好的进行数据的统计分析,但是hive可以。所以hive和hbase整合后,数据更新,实时查询已经统计分析都可以...
Hbase与hive整合
我们来参照hive的官方文档来进行Hbase与hive的整合,在这之前呢,需要将HBase与Hive之间依赖的jar包相互导入建立依赖关系,具体请参见 https://blog.csdn.net/Lu_Xiao_Yue/article/details/84949427 下面来详细介绍Hbase与Hive的整合 按照官方指导 我们先在hive中创建hive表并且关联HBase表 建表语句如下 CRE...
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法