急,求高手!!hive在向整合hbase的分区表插入数据时报错:Must specify table

hadoop版本:hadoop-2.7.12.7.1
hbase版本:hbase-1.1.2
hive版本:apache-hive-2.0.0-bin

本人是新手,在整合了hive和hbase之后,我在hive中创建了一张关联了hbase表的分区表,然后在向表插入数据的时候报错了,下面是插入语句和报错,求懂的人解答。
visited_in_hive是关联了hbase表,准备插入数据的表;hv_c_hb是hive中的另一张表(不是分区表),里面有数据,而且字段和visited_in_hive一样。
插入语句:insert into table visited_in_hive partition (datetime='2016-03-05') select * from hv_c_hb;

报错:WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = test2_20160308092429_26a93c7c-b945-4329-98ff-47a4067b579d
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.checkOutputSpecs(FileSinkOperator.java:1106)
at org.apache.hadoop.hive.ql.io.HiveOutputFormatImpl.checkOutputSpecs(HiveOutputFormatImpl.java:67)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:268)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:575)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:570)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:570)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:561)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:432)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:138)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:158)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:101)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1840)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1584)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1361)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1184)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1172)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:233)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:184)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:400)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:778)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:717)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:645)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.createHiveOutputFormat(FileSinkOperator.java:1128)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.checkOutputSpecs(FileSinkOperator.java:1103)
... 37 more
Caused by: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hbase.mapreduce.TableOutputFormat.setConf(TableOutputFormat.java:188)
at org.apache.hive.common.util.ReflectionUtil.setConf(ReflectionUtil.java:101)
at org.apache.hive.common.util.ReflectionUtil.newInstance(ReflectionUtil.java:87)
at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveOutputFormat(HiveFileFormatUtils.java:300)
at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveOutputFormat(HiveFileFormatUtils.java:290)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.createHiveOutputFormat(FileSinkOperator.java:1126)
... 38 more
Job Submission failed with exception 'java.io.IOException(org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

它报的错是没有指定表名,但是语句里明明已经指定表名了啊。难道是版本问题????求高手解答。

1个回答

baidu_35779931
baidu_35779931 回复C-Q-D: 你的问题解决了吗?我现在也报这个错
大约 3 年之前 回复
u012810317
C-Q-D 我的和那个不同,我只有插入到分区表才会报错,不是分区的可以正常插入。
3 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive 和hbase整合插入数据时报错
用spark向hive于hbase关联的表中插入数据时报错java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat 哪位大神可以帮忙解答下
hive和hbase整合报错
我用的是hive0.12.0 和hbase0.90.6 hadoop1.2.1rn在成功创建表后,运行select * from hbase_table limit 10;的时候报如下错误rn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Body Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Created Plan for Query Block nullrn14/05/22 08:36:42 DEBUG parse.SemanticAnalyzer: Before logical optimizationrnTS[0]-SEL[1]-LIM[2]-FS[3]rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for FS(3)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for LIM(2)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for SEL(1)rn14/05/22 08:36:42 INFO ppd.OpProcFactory: Processing for TS(0)rn14/05/22 08:36:42 DEBUG hive.log: DDL: struct hbase_table_2 i32 key, string valuern14/05/22 08:36:42 INFO ql.Driver: rn[color=#FF0000]Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.security.User.isHBaseSecurityEnabled(Lorg/apache/hadoop/conf/Configuration;)Zrn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.addHBaseDelegationToken(HBaseStorageHandler.java:373)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureTableJobProperties(HBaseStorageHandler.java:342)rn at org.apache.hadoop.hive.hbase.HBaseStorageHandler.configureInputJobProperties(HBaseStorageHandler.java:283)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureJobPropertiesForStorageHandler(PlanUtils.java:755)rn at org.apache.hadoop.hive.ql.plan.PlanUtils.configureInputJobPropertiesForStorageHandler(PlanUtils.java:725)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.convertToWork(SimpleFetchOptimizer.java:208)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer$FetchData.access$000(SimpleFetchOptimizer.java:180)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.optimize(SimpleFetchOptimizer.java:103)rn at org.apache.hadoop.hive.ql.optimizer.SimpleFetchOptimizer.transform(SimpleFetchOptimizer.java:74)rn at org.apache.hadoop.hive.ql.optimizer.Optimizer.optimize(Optimizer.java:131)rn at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:8392)rn at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:284)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:441)rn at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:342)rn at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:977)rn at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)rn at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)rn at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)rn at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)rn at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781)rn at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)rn at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)rn at java.lang.reflect.Method.invoke(Method.java:606)rn at org.apache.hadoop.util.RunJar.main(RunJar.java:160)[/color]rn14/05/22 08:36:42 DEBUG fs.FileSystem: Starting clear of FileSystem cache with 2 elements.rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///rn14/05/22 08:36:42 DEBUG fs.FileSystem: Removing filesystem for file:///
Hive中在整合HBase的表中插入数据时报错
伪分布式模式下整合Hadoop 2.2.0(自己基于Ubuntu 64位系统编译的)+HBase 0.98+Hive 0.14,其他功能操作都正常,但是在Hive中往基于HBase存储的表中插入数据时报错,网上找了很多方法,但都没用,具体错误如下:njava.lang.IllegalArgumentException: Can not create a Path from an empty stringn at org.apache.hadoop.fs.Path.checkPathArg(Path.java:127)n at org.apache.hadoop.fs.Path.(Path.java:135)n at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:213)n at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)n at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)n at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)n at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)n at java.security.AccessController.doPrivileged(Native Method)n at javax.security.auth.Subject.doAs(Subject.java:415)n at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)n at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)n at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562)n at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557)n at java.security.AccessController.doPrivileged(Native Method)n at javax.security.auth.Subject.doAs(Subject.java:415)n at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)n at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557)n at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)n at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:429)n at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)n at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)n at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)n at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1604)n at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1364)n at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1177)n at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1004)n at org.apache.hadoop.hive.ql.Driver.run(Driver.java:994)n at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:247)n at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:199)n at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:410)n at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:783)n at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)n at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)n at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)n at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)n at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)n at java.lang.reflect.Method.invoke(Method.java:606)n at org.apache.hadoop.util.RunJar.main(RunJar.java:212)nJob Submission failed with exception 'java.lang.IllegalArgumentException(Can not create a Path from an empty string)'nFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTasknn有没有人遇到过同样的问题?
hive与hbase整合查询报错
这几天研究hive与hbase整合,但是整合发现查询速度特别慢,始终找不到问题的根源,哪个大神遇到过!!!rnhive与hbase单独运行没问题rnhive与hbase创建表,添加数据已可以实现级联操作rn但是hive查询会出结果,但是特别慢,而且日志报错。rn日志如下:rn2015-05-29 10:27:49,340 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogBegin(108)) - rn2015-05-29 10:27:49,341 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(371)) - Generating splitsrn2015-05-29 10:27:49,391 WARN [main]: hbase.HBaseConfiguration (HBaseConfiguration.java:getInt(174)) - Config option "hbase.regionserver.lease.period" is deprecated. Instead, use "hbase.client.scanner.timeout.period"rn2015-05-29 10:27:49,418 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave3/192.168.1.154 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '154.1.168.192.in-addr.arpa'rn2015-05-29 10:27:49,424 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave1/192.168.1.152 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '152.1.168.192.in-addr.arpa'rn2015-05-29 10:27:49,425 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(378)) - number of splits 2rn2015-05-29 10:27:49,425 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - rn2015-05-29 10:27:49,568 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(396)) - number of splits:2rn2015-05-29 10:27:49,892 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:printTokens(479)) - Submitting tokens for job: job_1432777916407_0004rnrn还有另外想问个问题,hive查询hbase的速度应该会比hive查询hdfs的速度要快吧!!!rn如果要使用hadoop的技术,用什么方式比较好做多条件快速查询,只是查询。rn
hbase与hive关联、插入数据
接上一篇文章hbase的基本操作,做进一步深入。细想一下,使用put命令插入数据到hbase,使用get方法从hbase读取数据还是有诸多不方便。显然,NO SQL数据库在某些操作上还是没有支持SQL的数据库更加便捷。那么,是否可以将hbase与什么关联一下,既支持hbase的NO SQL又保留SQL的一些特性?答案是hbase与hive关联可以实现上述需求。 如何关联 关联前,先创建hbas...
hive与hbase整合
hive与hbase整合    hive操作hbase  整合hive与hbase的过程如下 1.将文件/opt/modules/hbase-0.98.15-hadoop1/lib/hbase-0.90.4.jar  与/opt/modules/hbase-0.98.15-hadoop1/lib/zookeeper-3.4.6.jar拷贝到/opt/modules/hive-1.0.1/l
Hbase与Hive整合
Hbase版本0.96.2 Hive版本0.13 在整合的时候需要将Hbase的部分以Hbase开头的包导入到Hive的lib中,并且,尤其注意一个htrace-core-2.04.jar这个jar包,没有的话会出错。Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstr
hive和hbase整合
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,catgyname5,catgyid6,catgyname6,catgyid7,catgyname7,catgyid8,catgyname8,catgyid9,catgyname9,levelnum,catgyno,createtmp idap_dim_chrg_item_catgy /user/hive/staging/idap_dim_chrg_item_catgy 注意导入的时候要先在hbase中创建idap_dim_chrg_item_catgy这个表 create
Hbase Hive整合映射
1. 创建hbase表 hbase(main):016:0> create 'hb_tgtest',{NAME => 'cf',REPLICATION_SCOPE => 1} 2.创建hive表 hive> CREATE EXTERNAL TABLE tgtest_info ( key int, device_id string, lon double, l...
Hadoop Hive与Hbase整合
Hadoop Hive与Hbase整合配置
使用Hive整合Hbase
一、配置 1、根据hive的版本去maven仓库找hive-hbase-handler.jar。 org.apache.hive hive-hbase-handler 0.14.0 把下载到的hive-hbase-handler-0.14.0.jar放到hive的lib目录下。 附:对hive和hbase的版本要求非常严格,必须要版本匹配才行。如何匹配版本?
Hive安装及与HBase的整合
介绍Hive的工作原理、配置及与HBase的整合。
hbase与hive的整合
环境说明: apache-hive-1.2.2-bin hbase-1.2.6 zookeeper-3.4.9 hadoop-2.7.3 前期说明: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 注意:以下路径以自己的路径为准 第一步: cp hbase-1.2.6
hbase和hive整合问题
hbase和hive整合后从hive创建hbase表报错如下: 百度一番后在csdn找到这篇文章: http://blog.csdn.net/u010376788/article/details/50905476 在Hive继承HBase中,二者的通信包就是hive-hbase-handler.jar,极其重要。如果我们用$HIVE_HOME/lib目录下的hive-hbase-hand...
HIVE和HBASE的整合
此文档是本人在工作中用到的知识总结出来的整合过程,本人是菜鸟,希望得到大神们的建议。
hive与hbase的整合
1.1hive整合hbase的搭建配置 说明:Hive是单节点,hbase为集群 修改hive-site.xml文件,添加zookeeper配置 <!--hive整合hbase --> <property> <name>hbase.zookeeper.quorum</name> <value>node1:2181,node...
Hive与Hbase的整合
Hive与Hbase的整合 1. Hbase表映射到Hive表中 1.1 Hive的配置文件修改 1.1.1 修改hive-site.xml配置文件,添加配置属性 <property> <name>hbase.zookeeper.quorum</name> <value>server01:2181,se
hive和hbase的整合
使用hbase作为用户行为分析的数据库,为了提高效率,集成了hive。 [b]安装[/b] 使用cloudera的cdh3u0版本,hbase安装见[url]http://jinghong.iteye.com/blog/1051732[/url], 解压hive到/home/hadoop/cdh3 [code="shell"]tar zxvf hive-0.7.0-cdh3u0.tar.g...
Hive整合Hbase(一)
Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备 3.1...
Hive与HBase的整合
Step 1:把hive的Lib目录下hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar,cp到hive/lib执行命令:cp /opt/apps/hive/apache-hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar /opt/apps/HBase/hbase-1.1.3/li
Hbase Hive 整合映射
Hbase Hive 整合映射 可使用HQL查询数据 步骤 1,创建Hbase表 2,映射Hive表 步骤一 说明:cf 列簇名,只put了少量测试列 create ‘cofeed_info’,{NAME => ‘cf’, REPLICATION_SCOPE => 1} put ‘cofeed_info’, ‘100001’, ‘cf:id’, ‘101’ put
Hive和Hbase整合
Hive创建以Hbase为数据来源的外部表 String[] sqls = new String[3]; StringBuffer sb = new StringBuffer(); sb.append("CREATE EXTERNAL TABLE alarm_log ( "); sb.append("key string, ");//rowkey
HBase与Hive整合的必要性
Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。          HBase全称为Hadoop Database,即HBase是Hadoop的数
Hive 整合Hbase环境配置
Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 1、应用场景 ETL操作的数据存入HBase HBase作为Hive的数据源 构建低延时的数据仓库 2、环境准备 hive与hbase版本兼容性 Hive版本 hive-1.2.1、hbase的版本hbase-1...
Hive与HBase的整合
开场白:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项:1、需要的软件有 Hadoop、Hive、Hbase、...
Hbase与Hive的整合
1.1原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。 Hive 访问 HBase 中表数据,实质上是通过...
Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程: 基本环境 整合配置 测试验证     详见:http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
hive、hbase整合
Hive 与Hbase 整合 原理: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示: 附件: 编译好的hive-hbase-handler-1.2.1.jar,可以直接使用 环境 —— jdk:1.8.0_65;hadoop:2.6.0 单节点;hbase:1.
Hbase整合Hive案例
一、原理:     Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。     Hive 访问 HBase 中表数...
Hive 与 Hbase的整合(四)
Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类一、将hbase 下相关的jar包拷贝到/home/centosm/hive/lib文件夹下面,如果已存在不同版本的则删除hive中的再复制上去。 具体操作步骤如下:1、备份hive下的lib包: zip -r lib.zip lib2、将hbase
HBase与hive关系整合
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本次课程适合HBase入门的学员,课程首先介绍了什么是HBase ,HBase安装以及Sell入门,其次通过介绍独立zk、JavaAPI、区域操作、HBase常用功能、过滤器等一系列功能操作进行详细解析,帮助学员更好的理解,最后以HA集成进行入门阶段的收尾,全程通俗易懂,为初学者提供了良好的学习素材。
Hive与Hbase关系整合
近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享。 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive
hive与HBase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面进行hql查询。让Hbase和Hive能互相访问,让Hadoop/Hbase/Hive协同工作,合为一体。  首先需要把hive/lib下的hbase包替换成安装的hbase的,需要如下几下: hbase-client-1.2.0.jar hba
Hive为何与HBase整合
hive的数据是无法更新的,除非去更改hdfs的原始文件,更改原始文件需要生成一个新的文件,十分费事。同时hive是进行海量数据统计分析,无法实时查询。 而hbase可以进行数据更新和海量数据的快速查询,弥补hive的不足,同时hbase的语法简直蛋疼,无法友好的进行数据的统计分析,但是hive可以。所以hive和hbase整合后,数据更新,实时查询已经统计分析都可以...
Hbase与hive整合
我们来参照hive的官方文档来进行Hbase与hive的整合,在这之前呢,需要将HBase与Hive之间依赖的jar包相互导入建立依赖关系,具体请参见 https://blog.csdn.net/Lu_Xiao_Yue/article/details/84949427 下面来详细介绍Hbase与Hive的整合 按照官方指导 我们先在hive中创建hive表并且关联HBase表 建表语句如下 CRE...
hive与hbase整合经验谈
hive与hbase整合经验谈
Hive与HBase整合(实例)
  实例1 1.先在Hbase中创建表(三列族): create 'ceshi7', {NAME=>'TIME',VERSIONS=>1,BLOCKCACHE=>true,BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOCKSIZE =&...
Hive整合Hbase详解
Hive 整合Hbase1、摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景2.1 将ETL操作的数据存入HBase  2.2 HBase作为Hive的数据源  2.3 构建低延时的数据仓库 3、环境准备3.1 hive与hbase版本兼容性Hive...
hbase和hive的整合
一、背景 在hadoop体系中为什么需要做hbase和hive的整合呢?其实这跟hbase的设计特性有点关系(ps:具体的hbase及hive的相关特性就不在这里赘述了哈~),因为hbase不支持标准sql的类sql语句都不支持而且hbase 做统计分析的时候不能做join,而这些功能是hive所具备的,所以在实际的生产环境中将二者整合并让hbase表中的数据可以使用类sql语句及join分析是很...
Hive整合Hbase(二)
Hive整合Hbase实战1、hbase表映射到hive表中 1、在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3 create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1},{NAME => 'f3',VERSIONS => 1} 2、插入数据 put 'hbase_tes
相关热词 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法 c# gmail 发邮件 c# 多层文件